[論文レビュー] Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers

Yonatan Geifman, Guy Uziel+1 more|arXiv (Cornell University)|May 21, 2018

Adversarial Robustness in Machine Learning被引用数 37

ひとこと要約

この論文は、訓練中のモデルの初期スナップショットを活用することで、信頼度スコアのバイアスを低減する、深層ニューラルネットワーク分類器のための新規不確実性推定手法を提案する。各インスタンスに対して最適な早期停止モデルを選択することで、Pointwise Early Stopping (PES) およびその効率的近似である AES は、複数のデータセットとベースラインにおいて一貫して不確実性ランク付けを改善し、不確実性評価の誤差率を顕著に低減する。

ABSTRACT

We consider the problem of uncertainty estimation in the context of (non-Bayesian) deep neural classification. In this context, all known methods are based on extracting uncertainty signals from a trained network optimized to solve the classification problem at hand. We demonstrate that such techniques tend to introduce biased estimates for instances whose predictions are supposed to be highly confident. We argue that this deficiency is an artifact of the dynamics of training with SGD-like optimizers, and it has some properties similar to overfitting. Based on this observation, we develop an uncertainty estimation algorithm that selectively estimates the uncertainty of highly confident points, using earlier snapshots of the trained model, before their estimates are jittered (and way before they are ready for actual classification). We present extensive experiments indicating that the proposed algorithm provides uncertainty estimates that are consistently better than all known methods.

研究の動機と目的

• 深層ニューラルネットワークの不確実性推定におけるバイアス、特に非常に高い信頼度の予測に対して解決する。
• SGDのダイナミクスにより、訓練が進むに従い信頼度推定が劣化することを特定し、過学習に類似した傾向を示す。
• 劣化が生じる前におけるモデルの初期スナップショットの選択によって、信頼性の高い信頼度推定を回復する手法を開発する。
• ベイジアン手法や追加のトレーニングデータを必要としない主な手法として、既存の不確実性推定技術（例：ソフトマックス、MCドロップアウト、アンサンブル）を改善する。
• 高コストなモデル選択を回避しつつ、スケーラブルで計算効率の良い、最先端の性能を維持する代替手法を提供する。

提案手法

• 各テストインスタンスに対してバリデーションセットに基づき最良の初期スナップショットモデルを選択する、Pointwise Early Stopping (PES) を提案する。
• 各テストサンプルを最も信頼性の高い初期モデルにマッピングするための選択メカニズムを、補助ラベル付きデータセット上で学習する。
• PESのスケーラブルな近似として、スナップショット上での学習関数を用いることで別個のモデルをトレーニングしない Approximate Early Stopping (AES) を導入する。
• 不確実性推定タスクを不確実性の順序ランク付けとして定式化し、パラメータ補正は別途プラットスケーリングを用いて行う。
• 性能評価には、不確実性ランク品質の代理指標としての E-AURC（期待平均不確実性ランク相関）を定義する。
• 補正済み確率にプラットスケーリングを適用し、NLL およびブライアスコアを用いて評価することで、改善のロバスト性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的な深層ニューラルネットワーク分類器が、特に非常に高い信頼度の予測に対してバイアスのある不確実性推定を生じる理由は何か？
• RQ2 訓練中のモデルの初期スナップショットは、最終的なトレーニング済みモデルよりも信頼性の高い不確実性推定を提供できるか？
• RQ3 著しい計算コストを伴わずに、各テストインスタンスに対して最適な初期モデルを効率的に選択する方法は何か？
• RQ4 提案手法は、多様なデータセットとベースライン手法において、どの程度不確実性推定を改善できるか？
• RQ5 プラットスケーリングを用いた不確実性推定の補正後でも、改善効果は維持されるか？

主な発見

• Pointwise Early Stopping (PES) は、ベースラインのソフトマックス応答と比較して、CIFAR-100 において E-AURC を 18.24% 減少させた。CIFAR-10 では 6.04%、SVHN では 9.41%、ImageNet では 2.34% の改善を達成した。
• Approximate Early Stopping (AES) は、追加のトレーニングデータを必要とせず、アンサンブル手法を含むすべてのベースラインに対して一貫した改善を達成した。
• AES は、CIFAR-10、CIFAR-100、SVHN、ImageNet の全4つのデータセットにおいて、ソフトマックス、エントロピー、NN-距離、MCドロップアウト、アンサンブルを含むすべての評価手法を上回り、統計的に有意な向上を示した。
• E-AURC 指標は、補正済み性能と強く相関しており、NLL およびブライアスコアによる検証を通じて、AES が生の不確実性推定値および補正済み不確実性推定値の両方を改善していることが確認された。
• PES の計算コストは、複数のスナップショットに対して繰り返し順伝播を実行するため高いため、AES のような効率的近似の必要性が生じた。
• 本研究では、訓練過程における信頼度の劣化が過学習に類似した体系的問題であることが示され、初期スナップショットがこのバイアスを効果的に緩和できることを実証した。