[論文レビュー] Reliable Confidence Estimation via Online Learning.

Volodymyr Kuleshov, Stefano Ermon|arXiv (Cornell University)|Jul 13, 2016

Machine Learning and Data Classification被引用数 3

ひとこと要約

本論文は、分布シフトや敵対的入力に対しても正確で適切にキャリブレーションされた確率を維持できる、信頼性の高い信頼性推定のためのオンライン学習ベースの手法を提案する。この手法は、別個のキャリブレーションデータセットを必要とせず、理論的保証としての正確性と収束性を保証する、形式的な信頼区間の境界を提供する。

ABSTRACT

Assessing uncertainty within machine learning systems is an important step towards ensuring their safety and reliability. Existing uncertainty estimation techniques may fail when their modeling assumptions are not met, e.g. when the data distribution differs from the one seen at training time. Here, we propose techniques that assess a classification algorithm's uncertainty via calibrated probabilities (i.e. probabilities that match empirical outcome frequencies in the long run) and which are guaranteed to be reliable (i.e. accurate and calibrated) on out-of-distribution input, including input generated by an adversary. Our methods admit formal bounds that can serve as confidence intervals, and process data in an online manner, which obviates the need for a separate calibration dataset. We establish theoretical guarantees on our methods' accuracies and convergence rates, and we validate them on two real-world problems: question answering and medical diagnosis from genomic data.

研究の動機と目的

• 訓練データからの分布シフトが生じた際、従来の不確実性推定手法が失敗する問題に対処すること。
• 分布外データおよび敵対的入力においても、信頼性が保証された適切にキャリブレーションされた確率を維持する手法を開発すること。
• オンライン学習とリアルタイムの信頼性推定を可能にすることで、別個のキャリブレーションデータセットの必要性を排除すること。
• 長期的に有効であることが保証される、信頼区間の形式的理論的境界を提供すること。
• 質問応答やゲノム診断を含む多様な実世界応用分野において、不確実性推定のロバスト性と正確性を確保すること。

提案手法

• 新しいデータが順次到着するのを受けて、オンライン学習を用いてモデルの信頼性推定値を段階的に更新する。バッチ処理やキャリブレーションデータの必要性を回避する。
• 時間経過とともに実現頻度と一致するように、適切にキャリブレーションされた確率を生成することで、長期的な信頼性を確保する。
• 統計的保証に基づいて導出された形式的な信頼区間の境界を組み込み、解釈可能性と信頼性を向上させる。
• データドリフトや分布シフトにリアルタイムで適応可能な再帰的推定フレームワークを活用する。
• 摂動に対してさえも適切にキャリブレーションされた出力を維持することで、敵対的例に対してロバストであるように設計する。
• 理論的分析により、最小限のモデル仮定のもとで収束速度と正確性の境界が確立される。

実験結果

リサーチクエスチョン

• RQ1 別個のキャリブレーションデータセットに依存せずに、分布シフト下でも信頼性推定を信頼できるものにできるか？
• RQ2 順次到着するデータが入ってくるオンライン環境において、適切にキャリブレーションされた確率をどのように維持できるか？
• RQ3 提案手法が、分布外および敵対的入力において、正確性とキャリブレーションの両方をどの程度維持できるか？
• RQ4 このようなオンラインで分布シフトに強い環境において、信頼区間の境界にどのような理論的保証を提供できるか？
• RQ5 高リスクの実世界応用、例えば医療診断や質問応答において、これらの手法はどの程度の性能を示すか？

主な発見

• 提案手法は、テストデータの分布が訓練データと異なる場合でも、信頼性の高い信頼性推定を達成している。
• 敵対的入力に対しても、適切にキャリブレーションされた確率を維持しており、標的攻撃に対するロバスト性を示している。
• 形式的な信頼区間の境界が導出され、長期的な実現頻度の一致に裏付けられて有効であることが示された。
• 別個のキャリブレーションデータセットを必要としないため、データおよびインfra構成のオーバーヘッドが削減される。
• 実世界タスク（質問応答やゲノムベースの医療診断を含む）における実証的検証で、優れた性能が得られた。
• 理論的分析により、弱い仮定のもとで収束性と正確性の保証が確認され、実用的導入を支持するものとなった。