[論文レビュー] Towards calibrated and scalable uncertainty representations for neural networks

Nabeel Seedat, Christopher Kanan|arXiv (Cornell University)|Oct 28, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 11

ひとこと要約

本稿では、コサインスケジューリングとウォームリセットを組み合わせた、Stochastic Gradient Langevin Dynamics (SGLD) を統合した新しいベイジアンニューラルネットワークのパラメータ推定手法であるRECASTを提案する。この手法により、スケーラブルかつ良好にキャリブレートされた不確実性推定が可能となる。RECASTは、予測エントロピーとエピステミック不確実性を組み合わせた際、SGLD、MCD、VI、アンサンブル手法を上回り、期待キャリブレーション誤差（ECE）が2.37%という最低水準を達成した。

ABSTRACT

For many applications it is critical to know the uncertainty of a neural network's predictions. While a variety of neural network parameter estimation methods have been proposed for uncertainty estimation, they have not been rigorously compared across uncertainty measures. We assess four of these parameter estimation methods to calibrate uncertainty estimation using four different uncertainty measures: entropy, mutual information, aleatoric uncertainty and epistemic uncertainty. We evaluate the calibration of these parameter estimation methods using expected calibration error. Additionally, we propose a novel method of neural network parameter estimation called RECAST, which combines cosine annealing with warm restarts with Stochastic Gradient Langevin Dynamics, capturing more diverse parameter distributions. When benchmarked against mutilated image data, we show that RECAST is well-calibrated and when combined with predictive entropy and epistemic uncertainty it offers the best calibrated measure of uncertainty when compared to recent methods.

研究の動機と目的

• ニューラルネットワークにおける不確実性のパラメータ推定手法の間におけるきめ細やかな比較が不足しているという問題に対処すること。
• スケーラブルかつ良好にキャリブレートされたベイジアンニューラルネットワークにおける不確実性表現のための新しい手法を開発すること。
• モデルの摂動下における、エントロピー、相互情報量、アレアトリック不確実性、エピステミック不確実性といった異なる不確実性測度の性能を評価すること。
• パラメータ推定手法の選択がキャリブレーションと不確実性表現に与える影響を調査すること。
• RECASTが複雑な事後分布のより良い探索を可能にし、不確実性のキャリブレーションを向上させることを実証すること。

提案手法

• コサインスケジューリングとウォームリセットをStochastic Gradient Langevin Dynamics (SGLD) に統合した新しいSG-MCMC手法であるRECASTを提案する。
• トレーニング中に学習率を動的に調整することで、パrameter空間内の多様な領域の探索を促進するため、コサインスケジューリングを用いる。
• ミニバッチ勾配を用いてSGLDによる事後分布サンプリングを実行し、計算複雑度をO(m)に保つことでスケーラビリティを維持する。
• RECASTを予測エントロピー、相互情報量、アレアトリック不確実性、エピステミック不確実性の4つの不確実性測度と組み合わせる。
• ECE（期待キャリブレーション誤差）を主な評価指標として用い、異なる手法や摂動下でのキャリブレーション性能を評価する。
• 分布シフトを模擬するため、変形画像データを用い、不確実性のロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 SGLDにコサインスケジューリングとウォームリセットを組み合わせることで、ベイジアンニューラルネットワークにおける事後分布の探索と不確実性キャリブレーションが向上するか？
• RQ2 同じ不確実性測度を用いた場合、SGLD、MCD、VI、アンサンブルなどの異なるパラメータ推定手法は、キャリブレーションにおいてどのように比較されるか？
• RQ3 予測エントロピー、エピステミック不確実性、相互情報量、アレアトリック不確実性のうち、どれが分布シフト下でのモデルの自信を最も適切に反映するか？
• RQ4 真のラベルが入手不可能な状況において、エピステミック不確実性はモデルの精度の信頼できる代理指標として機能できるか？
• RQ5 RECASTは、データの摂動（変形）が増加する状況でも、既存の手法よりも優れたキャリブレーションを維持できるか？

主な発見

• RECASTは、同じデータセット上でベースラインのECE（3.02%）を上回る、ECEが2.37%という最低水準を達成した。
• 予測エントロピーとエピステミック不確実性と組み合わせたRECASTは、すべてのテスト手法の中で最もキャリブレートされた不確実性表現を実現した。
• RECASTはECEとデータ変形の度合いとの間に強く線形相関を示し、分布シフト下でも一貫したキャリブレーションを示している。
• RECASTで推定されたエピステミック不確実性は、実際のモデルの精度と高い相関を示しており、真のラベルが不明な状況でも予測の信頼性の代理指標として信頼できる。
• 重み分布の分析から、RECASTは他の手法と比較してより広範かつ多様なパrameter空間を探索していることが確認され、優れた不確実性表現の背景にある要因が明らかになった。
• すべての手法の中で、RECASTは特にエピステミック不確実性および予測エントロピー測度と組み合わせた場合、データ摂動の増加に対して最もロバストなキャリブレーションと不確実性マッピングを示した。