[論文レビュー] Estimating Uncertainty Online Against an Adversary

Volodymyr Kuleshov, Stefano Ermon|arXiv (Cornell University)|Jul 13, 2016

Anomaly Detection Techniques and Applications被引用数 12

ひとこと要約

本稿では、オンラインキャリブレーション技術に基づくメタアルゴリズムを用いて、敵対的または分布外のデータに対しても、キャリブレートされ、信頼性のある確率推定値を提供する、新しいオンライン再キャリブレーション手法を提案する。この手法は、ベースライン予測器とほぼ同一の精度を保証しながら、O(1/√ε)の収束レートのオーバーヘッドを伴い、強力なキャリブレーションを達成する。

ABSTRACT

Assessing uncertainty is an important step towards ensuring the safety and reliability of machine learning systems. Existing uncertainty estimation techniques may fail when their modeling assumptions are not met, e.g. when the data distribution differs from the one seen at training time. Here, we propose techniques that assess a classification algorithm's uncertainty via calibrated probabilities (i.e. probabilities that match empirical outcome frequencies in the long run) and which are guaranteed to be reliable (i.e. accurate and calibrated) on out-of-distribution input, including input generated by an adversary. This represents an extension of classical online learning that handles uncertainty in addition to guaranteeing accuracy under adversarial assumptions. We establish formal guarantees for our methods, and we validate them on two real-world problems: question answering and medical diagnosis from genomic data.

研究の動機と目的

• データ分布が変化する、または敵対的入力が存在する状況で、従来の不確実性推定手法が失敗することへの対処。
• i.i.d.データの仮定なしに、敵対的仮定下でも、実現頻度と一致するキャリブレートされた確率を生成する手法の開発。
• オンラインで逐次学習を行う環境において、高い予測精度を維持しながらキャリブレーションを確保すること。
• オンラインおよびバッチ設定の両方で再キャリブレーションを可能にする損失関数の特定。

提案手法

• 本手法は、古典的なオンラインキャリブレーションをブラックボックスサブルーチンとして扱うメタアルゴリズムを用い、任意のベースライン分類器からの予測を再キャリブレーションする。
• 時間経過に伴う結果の実現頻度を維持することで、逐次的に新しいデータポイントに適応するオンライン形式で、キャリブレートされた確率を推定する。
• 内部的および外部的レジーットを用いた「専門家の助言による学習」フレームワークにおいてレジーットを最小化することで、強力なキャリブレーションを保証する。
• データパターンやカーネルに関する事前知識を必要とせず、任意のキャリブレーションされていない予測器に対してブラックボックス再キャリブレーションを可能にする。
• オンライン最適化とブラックウェル到達可能性理論に基づくアプローチにより、敵対的条件下でもキャリブレートされた予測に収束することを保証する。
• 収束レートのオーバーヘッドがO(1/√ε)であることが示され、ここでεは所望の精度水準を表す。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.仮定に依存せず、敵対的または分布外のデータ下でもキャリブレートされたままの不確実性推定手法を設計できるか？
• RQ2 オンライン設定において、キャリブレーション精度と予測精度の理論的トレードオフは何か？
• RQ3 どの損失関数が、オンラインおよびバッチ設定の両方で再キャリブレーションを可能にするか？
• RQ4 オンラインキャリブレーションの頑健性と、予測変数および鋭い予測のパワーをどのように統合できるか？

主な発見

• 提案されたオンライン再キャリブレーションアルゴリズムは、質問応答およびゲノム診断の両タスクにおいて、学習プロセス全体を通じて、ベースライン手法よりも一貫して低いキャリブレーション誤差を達成した。
• 3,443個のゲノムサンプルを用いた医療診断タスクでは、再キャリブレーションされた確率が全範囲にわたりほぼ完全にキャリブレートされた一方、元のSVMスコアは[0.4, 0.6]の範囲外では著しくキャリブレーションが悪かった。
• アルゴリズムは、すべての時刻ステップにおいて、ベースライン予測器のℓ₂損失と0.01以内の予測精度を維持し、性能の低下が最小限に抑えられたことを示した。
• 理論的分析により、収束がベースライン予測器に対してO(1/√ε)のレートで達成されることを示した。ここでεは所望の精度水準を表す。
• 標準的な再キャリブレーション手法が分布シフト下で失敗するのに対し、本手法は敵対的入力下でも、実際にキャリブレート可能であることが証明された。