[論文レビュー] Uncertainty Estimation with Infinitesimal Jackknife, Its Distribution and Mean-Field Approximation

Zhiyun Lu, Eugene Ie+1 more|arXiv (Cornell University)|Jun 13, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用数 9

ひとこと要約

本稿では、再訓練を必要とせず、アンサンブルやベイジアンニューラルネットワークのトレーニング・推論コストを回避する計算効率の高い、プラグイン型の不確実性推定手法である平均場無限小ジャックナイフ（mfIJ）を提案する。この手法は、無限小ジャックナイフを活用して、再訓練なしに閉形式のガウス的擬似アンサンブルを構築する。ソフトマックス関数を通じてガウス確率変数を解析的に統合するための平均場近似を適用することで、mfIJは高速かつ正確な不確かな推定を可能にし、特に分布外検出において最先端の手法を上回る性能を発揮する。

ABSTRACT

Uncertainty quantification is an important research area in machine learning. Many approaches have been developed to improve the representation of uncertainty in deep models to avoid overconfident predictions. Existing ones such as Bayesian neural networks and ensemble methods require modifications to the training procedures and are computationally costly for both training and inference. Motivated by this, we propose mean-field infinitesimal jackknife (mfIJ) -- a simple, efficient, and general-purpose plug-in estimator for uncertainty estimation. The main idea is to use infinitesimal jackknife, a classical tool from statistics for uncertainty estimation to construct a pseudo-ensemble that can be described with a closed-form Gaussian distribution, without retraining. We then use this Gaussian distribution for uncertainty estimation. While the standard way is to sample models from this distribution and combine each sample's prediction, we develop a mean-field approximation to the inference where Gaussian random variables need to be integrated with the softmax nonlinear functions to generate probabilities for multinomial variables. The approach has many appealing properties: it functions as an ensemble without requiring multiple models, and it enables closed-form approximate inference using only the first and second moments of Gaussians. Empirically, mfIJ performs competitively when compared to state-of-the-art methods, including deep ensembles, temperature scaling, dropout and Bayesian NNs, on important uncertainty tasks. It especially outperforms many methods on out-of-distribution detection.

研究の動機と目的

• 再訓練や複数回のモデル推論を回避する計算効率が高く汎用的な不確実性推定手法の開発。
• トレーニングおよび推論の両方で、ベイジアンニューラルネットワーク やディープアンサンブルといった従来手法の高い計算コストを是正すること。
• ガウス分布の一次モーメントと二次モーメントのみを用いて、閉形式の不確実性推定を可能にすること。
• 分布外検出という不確実性推定における重要な課題を改善すること。
• アンサンブルやベイジアン手法の実用的代替手段を提供し、既存モデルへの最小限の変更で高い精度を維持すること。

提案手法

• 本手法は、再訓練を回避するため、1つの訓練済みモデルから擬似アンサンブルを構築する無限小ジャックナイフを用いる。
• 擬似アンサンブルを、モデルの勾配から導出された閉形式の平均と共分散を持つガウス分布としてモデル化する。
• ソフトマックス関数を通じてガウス確率変数を解析的に統合するために、平均場近似を適用する。
• 入力分布がガウス分布である場合のソフトマックス出力の期待値を、一次モーメントと二次モーメントのみを用いて近似することで不確実性を計算する。
• サンプリングを避けることで、予測分散と不確実性の解析的表現を導出し、推論コストを顕著に削減する。
• アーキテクチャやトレーニング手順の変更なしに、重みと勾配へのアクセスのみで利用可能なプラグイン型手法である。

実験結果

リサーチクエスチョン

• RQ1 サンプリングや再訓練を回避する閉形式の不確実性推定器を、無限小ジャックナイフから導出可能か？
• RQ2 ソフトマックス統合における平均場近似は、サンプリングベース手法と比較して不確実性推定の精度にどのような影響を与えるか？
• RQ3 本手法は、アンサンブルやベイジアン推論を用いずに、分布外検出で競争力のある性能を達成可能か？
• RQ4 温度スケーリング、ドロップアウト、ベイジアンニューラルネットワークと比較して、mfIJの不確実性キャリブレーションとロバストネスはいかがなっているか？
• RQ5 このプラグインフレームワークにおいて、計算効率と不確実性の質のトレードオフはどのようなものか？

主な発見

• mfIJは、ディープアンサンブル やベイジアンニューラルネットワークといった最先端手法と比較して、競争力のある不確実性キャリブレーションと予測性能を達成している。
• 本手法は、多くのベースラインと比較して、分布外検出において顕著に優れた性能を示し、分布シフトに対して優れたロバストネスを示している。
• 平均場近似を用いることで、mfIJはサンプリングを一切行わず、閉形式の推論が可能となり、推論時間と計算コストが著しく削減される。
• 本手法は、単一のフォワードパスと勾配計算のみで高品質な不確実性を維持でき、実世界のデプロイに実用的である。
• mfIJは、再トレーニングやアーキテクチャ変更なしに、任意の事前学習済み深層モデルと連携可能なプラグインソリューションを提供する。
• 実験的結果により、本手法がインディストリビューションおよびアウトオブディストリビューションの両設定で不確実性を効果的に捉え、特にOOD検出タスクで顕著な優位性を示していることが確認された。