[论文解读] Consistent Estimators for Learning to Defer to an Expert

Hussein Mozannar, David Sontag|arXiv (Cornell University)|Jun 2, 2020

Machine Learning and Algorithms参考文献 53被引用 24

一句话总结

本文提出了一种一致估计器，用于学习何时将预测委托给专家，通过将问题转化为一种新型的代价敏感学习，采用一种推广交叉熵的代理损失。该方法联合学习分类器与拒绝器，实现了理论一致性，并在多种任务中表现出强大的经验性能，即使仅使用专家决策标签亦可。

ABSTRACT

Learning algorithms are often used in conjunction with expert decision makers in practical scenarios, however this fact is largely ignored when designing these algorithms. In this paper we explore how to learn predictors that can either predict or choose to defer the decision to a downstream expert. Given only samples of the expert's decisions, we give a procedure based on learning a classifier and a rejector and analyze it theoretically. Our approach is based on a novel reduction to cost sensitive learning where we give a consistent surrogate loss for cost sensitive learning that generalizes the cross entropy loss. We show the effectiveness of our approach on a variety of experimental tasks.

研究动机与目标

• 为解决机器学习中算法在现实决策中忽略专家参与的差距。
• 开发一种方法，仅使用专家决策标签即可学习何时预测或委托给专家。
• 在监督信息有限的情况下，确保学习过程的理论一致性。
• 将交叉熵损失推广至代价敏感学习，以提升鲁棒性与性能。
• 在多个现实世界的预测任务中实证验证该方法。

提出的方法

• 该方法将学习何时委托专家的问题转化为代价敏感学习问题。
• 提出一种新型代理损失函数，将交叉熵损失推广至代价敏感设置。
• 使用此一致代理损失联合训练分类器与拒绝器。
• 理论分析证明，最小化代理损失可导致最优委托策略的一致估计。
• 该框架在部分监督下运行，仅需专家决策，无需完整标签。
• 该算法设计为可扩展，并适用于多种预测任务。

实验结果

研究问题

• RQ1 当仅能获得专家决策时，能否学习到可靠的委托策略？
• RQ2 在部分监督下，能否构建最优委托策略的一致估计器？
• RQ3 如何将交叉熵损失推广至代价敏感学习以实现更好的优化？
• RQ4 所提出方法在现实世界委托任务中是否优于基线方法？
• RQ5 该方法能否在多种领域中有效应用，且假设极少？

主要发现

• 所提出的代理损失确保了理论一致性，即随着数据量增加，学习到的策略会收敛至最优策略。
• 该方法在多个基准任务中表现出强大的经验性能，涵盖医学诊断与图像分类等任务。
• 即使在专家监督有限的情况下，该方法在准确率与委托质量方面仍优于现有基线。
• 理论分析确认，最小化代理损失可导致在代价敏感约束下的最优决策。
• 该框架具有鲁棒性与泛化能力，在多种现实场景中表现出有效性。
• 该方法实现了有效学习何时委托，而无需完整标签注释。