[论文解读] Leveraging Uncertainty in Deep Learning for Selective Classification

Mehmet Yigit Yildirim, Mert Özer+1 more|arXiv (Cornell University)|May 23, 2019

Machine Learning and Algorithms参考文献 21被引用 5

一句话总结

该论文提出MIPSC，一种混合整数规划框架，通过联合优化模型不确定性与预测均值，实现深度学习中的选择性分类，显著优于基线方法，在各类数据集上的非拒绝准确率和拒绝质量均表现更优，在在线欺诈管理中实现23%更高的利润增益——为零售商带来估计每年200万美元的节省。

ABSTRACT

The wide and rapid adoption of deep learning by practitioners brought unintended consequences in many situations such as in the infamous case of Google Photos' racist image recognition algorithm; thus, necessitated the utilization of the quantified uncertainty for each prediction. There have been recent efforts towards quantifying uncertainty in conventional deep learning methods (e.g., dropout as Bayesian approximation); however, their optimal use in decision making is often overlooked and understudied. In this study, we propose a mixed-integer programming framework for classification with reject option (also known as selective classification), that investigates and combines model uncertainty and predictive mean to identify optimal classification and rejection regions. Our results indicate superior performance of our framework both in non-rejected accuracy and rejection quality on several publicly available datasets. Moreover, we extend our framework to cost-sensitive settings and show that our approach outperforms industry standard methods significantly for online fraud management in real-world settings.

研究动机与目标

• 解决在选择性分类中利用模型不确定性和预测均值进行最优决策的空白。
• 开发一种框架，在既定的拒绝容量约束下，识别最优分类与拒绝区域。
• 将模型扩展至成本敏感设置，以适用于在线欺诈管理等实际应用场景。
• 在多样化数据集及不同基础模型性能下，展示框架的稳健性能。
• 提供一种原则性、非任意的选择性拒绝决策方法，优于启发式基线方法。

提出的方法

• 将选择性分类建模为混合整数规划（MIP）问题，联合优化不确定性与预测均值。
• 使用蒙特卡洛 dropout 近似深度神经网络中的贝叶斯不确定性。
• 将预测均值与不确定性评分整合至MIP目标函数，以确定最优拒绝与分类边界。
• 设计MIPSC的成本敏感扩展，通过加权利润函数引入领域特定成本（如欺诈损失、客户冒犯成本）。
• 使用优化技术求解MIP公式，识别出可实现最大期望利润的拒绝实例集合。
• 应用列生成技术以提升大规模场景下的计算效率。

实验结果

研究问题

• RQ1 如何联合利用模型不确定性和预测均值，以提升深度学习中选择性分类的决策质量？
• RQ2 混合整数规划框架是否能在准确率与拒绝质量方面优于启发式拒绝策略？
• RQ3 所提出的MIPSC框架在不同拒绝容量约束及不同基础模型性能下表现如何？
• RQ4 与行业标准基线相比，MIPSC的成本敏感扩展在实际欺诈管理结果中改善程度如何？
• RQ5 该框架在高风险应用场景（如欺诈检测）中，对性能较差的基础模型是否具有鲁棒性？

主要发现

• 在在线欺诈管理中，MIPSC在所有拒绝容量水平下均实现最高利润增益，全面优于所有基线方法。
• 在Digital Goods数据集中，即使基础DNN性能低于简单基线，MIPSC仍能保持正向利润增益，展现出卓越的鲁棒性。
• 风险基线——即使用不确定性与交易金额的简单乘积——表现始终劣于MIPSC，凸显了优化框架的必要性。
• MIPSC在欺诈管理中的利润增益最高可达当前业务标准的23%，相当于每周节省约40,570美元，年利润增益达200万美元。
• 该框架有效结合了预测均值与不确定性，表明两者在最优拒绝决策中具有互补性且不可或缺。
• MIPSC的成本敏感扩展成功处理了示例相关成本，在真实世界场景中优于基于规则和启发式成本敏感的基线方法。