[論文レビュー] Leveraging Uncertainty in Deep Learning for Selective Classification

Mehmet Yigit Yildirim, Mert Özer+1 more|arXiv (Cornell University)|May 23, 2019

Machine Learning and Algorithms参考文献 21被引用数 5

ひとこと要約

本論文は、深層学習における選択的分類のための混合整数プログラミング（MIP）フレームワークMIPSCを提案する。このフレームワークは、モデルの不確実性と予測平均を同時に最適化し、データセット全体でベースラインを著しく上回る性能を発揮する。オンライン詐欺管理では利益増が23%向上し、小売業者にとって年間約200万ドルの節約に繋がる。

ABSTRACT

The wide and rapid adoption of deep learning by practitioners brought unintended consequences in many situations such as in the infamous case of Google Photos' racist image recognition algorithm; thus, necessitated the utilization of the quantified uncertainty for each prediction. There have been recent efforts towards quantifying uncertainty in conventional deep learning methods (e.g., dropout as Bayesian approximation); however, their optimal use in decision making is often overlooked and understudied. In this study, we propose a mixed-integer programming framework for classification with reject option (also known as selective classification), that investigates and combines model uncertainty and predictive mean to identify optimal classification and rejection regions. Our results indicate superior performance of our framework both in non-rejected accuracy and rejection quality on several publicly available datasets. Moreover, we extend our framework to cost-sensitive settings and show that our approach outperforms industry standard methods significantly for online fraud management in real-world settings.

研究の動機と目的

• 選択的分類においてモデルの不確実性と予測平均を最適に統合する意思決定のギャップを埋める。
• 定められた拒否容量制約下で、最適な分類および拒否領域を特定するフレームワークを開発する。
• 実世界の応用（例：オンライン詐欺管理）に適応するため、コスト感受性の設定に拡張する。
• 多様なデータセットおよび異なるベースモデルの性能を想定した状況でも、頑健な性能を示すことを確認する。
• ヒューリスティックなベースラインよりも優れた、原則的で恣意的でない拒否意思決定手法を提供する。

提案手法

• 選択的分類を混合整数プログラミング（MIP）問題として定式化し、不確実性と予測平均を同時に最適化する。
• 深層ニューラルネットワークにおけるベイジアン不確実性の近似に、モンテカルロドロップアウトを用いる。
• 予測平均と不確実性スコアをMIP目的関数に統合し、最適な拒否および分類境界を決定する。
• ドメイン固有のコスト（例：詐欺損失、顧客不満）を重み付き利益関数を介して組み込む、MIPSCのコスト感受性拡張を設計する。
• 最適化手法を用いてMIP定式化を解き、期待利益を最大化するための拒否インスタンスの集合を特定する。
• 大規模な設定における計算効率を向上させるために、列生成法を適用する。

実験結果

リサーチクエスチョン

• RQ1 モデルの不確実性と予測平均をどのように統合することで、深層学習における選択的分類意思決定を向上させられるか？
• RQ2 混合整数プログラミングフレームワークは、精度と拒否品質の観点から、ヒューリスティックな拒否戦略を上回ることができるか？
• RQ3 MIPSCフレームワークは、拒否容量制約やベースモデル性能の変動に対して、どのように性能を発揮するか？
• RQ4 MIPSCのコスト感受性拡張は、業界標準のベースラインと比較して、実世界の詐欺管理結果をどの程度改善するか？
• RQ5 特に詐欺検出のようなハイリスクな応用において、性能が低いベースモデルに対しても、このフレームワークは頑健であるか？

主な発見

• MIPSCは、オンライン詐欺管理の全拒否容量レベルにおいて、常に最高の利益増を達成し、すべてのベースラインを上回る。
• デジタル商品データセットでは、ベースとなるDNNの性能が単純なベースラインより劣っている場合でも、MIPSCは正の利益増を維持しており、その頑健性を示している。
• リスクベースライン（不確実性と取引金額の単純な積）は、MIPSCに比べて一貫して劣った性能を示し、最適化されたフレームワークの必要性を浮き彫りにしている。
• MIPSCは、現在のビジネス基準に比べて最大23%高い利益増を達成し、週間で約4万570ドルの節約、年間で200万ドルの利益増に相当する。
• 予測平均と不確実性を効果的に統合しており、両者が最適な拒否意思決定に補完的かつ不可欠な役割を果たしていることが示された。
• MIPSCのコスト感受性拡張は、例依存コストを適切に処理でき、実世界の設定において、ルールベースおよびヒューリスティックなコスト感受性ベースラインをすべて上回った。