[论文解读] Learning to Abstain via Curve Optimization.

Amr M. Alexandari, Avanti Shrikumar+1 more|arXiv (Cornell University)|Feb 20, 2018

Machine Learning and Data Classification参考文献 27被引用 1

一句话总结

本文提出了一种新颖的曲线优化方法，用于在机器学习模型中分析何时应放弃预测，通过在保留样本上解析最大化性能，选择一个预算受限的测试实例子集进行放弃。该方法在视觉、自然语言处理和生物信息学任务中均优于基于不确定性的方法，且利用影响函数的新诊断工具提升了对噪声数据的鲁棒性。

ABSTRACT

In practical applications of machine learning, it is often desirable to identify and abstain on examples where the a model's predictions are likely to be incorrect. We consider the problem of selecting a budget-constrained subset of test examples to abstain on, with the goal of maximizing performance on the remaining examples. We develop a novel approach to this problem by analytically optimizing the expected marginal improvement in a desired performance metric, such as the area under the ROC curve or Precision-Recall curve. We compare our approach to other abstention techniques for deep learning models based on posterior probability and uncertainty estimates obtained using test-time dropout. On various tasks in computer vision, natural language processing, and bioinformatics, we demonstrate the consistent effectiveness of our approach over other techniques. We also introduce novel diagnostics based on influence functions to understand the behavior of abstention methods in the presence of noisy training data, and leverage the insights to propose a new influence-based abstention method.

研究动机与目标

• 解决在给定固定放弃预算的前提下，选择模型应对哪些测试样本放弃预测的挑战。
• 通过优化AUC-ROC和AUPRC等关键指标，提升剩余样本上的模型性能。
• 开发一种原则性、分析性的放弃方法，优于启发式基于不确定性的方法。
• 利用影响函数诊断并理解在噪声训练数据下放弃方法的行为。
• 提出一种基于诊断分析洞察的新影响函数驱动的放弃方法。

提出的方法

• 该方法将放弃决策建模为每个测试样本在性能指标（如AUC-ROC）上预期边际增益的优化问题。
• 推导出在放弃特定样本时性能指标预期提升的解析表达式，从而实现无需采样的直接优化。
• 利用影响函数分析训练数据点如何影响放弃决策，揭示模型对噪声样本的敏感性。
• 提出一种新的基于影响函数的放弃策略，根据样本对模型预测和性能指标的影响来选择样本。
• 该方法应用于深度学习模型，并使用测试时丢弃法进行不确定性估计。
• 优化过程在放弃预算的约束下进行，确保实际部署的可行性。

实验结果

研究问题

• RQ1 如何最优地选择一个预算受限的测试样本子集进行放弃，以最大化剩余样本上的性能？
• RQ2 对性能指标提升进行解析优化，是否能优于基于不确定性的启发式方法？
• RQ3 在噪声训练数据下，放弃方法的行为如何？影响函数能否帮助诊断并提升其鲁棒性？
• RQ4 基于影响函数的诊断能否引导出一种新的、更有效的放弃策略？
• RQ5 所提出的曲线优化方法是否在多样化机器学习任务中持续提升性能？

主要发现

• 所提出的曲线优化方法在计算机视觉、自然语言处理和生物信息学基准测试中，持续优于基于不确定性的放弃技术。
• 与使用后验概率或基于丢弃法的不确定性基线方法相比，该方法在保留样本上实现了更高的AUC-ROC和AUPRC。
• 影响函数诊断显示，标准放弃方法对噪声训练样本特别敏感，尤其是高影响样本。
• 基于诊断洞察提出的基于影响函数的放弃方法，在数据噪声下表现出更强的鲁棒性和性能。
• 解析优化方法无需迭代或基于采样的近似，即可实现高效、可扩展的放弃决策。
• 该方法的性能增益在多种数据集和模型架构中保持一致，表明其具有广泛适用性。