[論文レビュー] Quantification of Uncertainty with Adversarial Models

Kajetan Schweighofer, Lukas Aichberger+3 more|arXiv (Cornell University)|Jul 6, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、敵対的モデル—後方確率が高く、基準モデルとは著しく異なる予測を行うモデル—を特定することで、深層学習における認識的不確実性の推定を向上させる、新たなフレームワークである「敵対的モデルを用いた不確実性の定量化（QUAM）」を提案する。QUAMは、認識的不確実性を定義する積分における近似誤差を低減するために、後方確率と発散の両方が高い領域に注目することで、ビジョンベンチマークにおいてディープアンサンブルやMCドロップアウトを上回る性能を発揮する。

ABSTRACT

Quantifying uncertainty is important for actionable predictions in real-world applications. A crucial part of predictive uncertainty quantification is the estimation of epistemic uncertainty, which is defined as an integral of the product between a divergence function and the posterior. Current methods such as Deep Ensembles or MC dropout underperform at estimating the epistemic uncertainty, since they primarily consider the posterior when sampling models. We suggest Quantification of Uncertainty with Adversarial Models (QUAM) to better estimate the epistemic uncertainty. QUAM identifies regions where the whole product under the integral is large, not just the posterior. Consequently, QUAM has lower approximation error of the epistemic uncertainty compared to previous methods. Models for which the product is large correspond to adversarial models (not adversarial examples!). Adversarial models have both a high posterior as well as a high divergence between their predictions and that of a reference model. Our experiments show that QUAM excels in capturing epistemic uncertainty for deep learning models and outperforms previous methods on challenging tasks in the vision domain.

研究の動機と目的

• 高リスクな応用分野における深層学習モデルの認識的不確実性の定量化を改善すること。
• ディープアンサンブルやMCドロップアウトといった従来手法が、後方確率サンプリングにのみ注目するため、認識的不確実性を適切に推定できないという限界を是正すること。
• 認識的不確実性推定における被積分関数の高い領域を捉えるために、後方確率は高いが予測が基準モデルから大きく逸脱する「敵対的モデル」という新しい概念を導入すること。
• 特に実世界のデプロイメント環境において、事前に選択された外部モデルに対する不確実性定量化を可能にすること。

提案手法

• QUAMは、あるテストポイントにおける予測に対して、後方確率が高く、基準モデルとの発散が著しいモデルを敵対的モデルと特定する。
• 認識的不確実性を、発散関数と後方確率を含む積分として定式化し、被積分関数が大きい領域に焦点を当てる。
• 勾配ベースの探索を用いて、発散と後方確率の積を最大化する最適化により、敵対的モデルを同定する。
• この方法では、これらの敵対的モデルを重要なサンプルとして用い、積分推定器の近似誤差を低減する。
• 基準モデルを用いて、訓練データを同様によく説明するが、テスト入力に対して異なる予測を行うモデルを探索する。
• MNISTおよびImageNetを用いたビジョンタスクで、ディープアンサンブル、MCドロップアウト、SG-HMCと比較してフレームワークを評価する。

Figure 1 : Adversarial models. For the red test point, the predictive uncertainty is high as it is far from the training data. High uncertainties are detected by different adversarial models that assign the red test point to different classes, although all of them explain the training data equally w

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークにおける認識的不確実性を、ディープアンサンブルやMCドロップアウトといった従来手法が失敗する状況でも、より正確に推定するにはどうすればよいか？
• RQ2 認識的不確実性積分に顕著な寄与を示すモデルとは何か？ そして、このようなモデルを体系的に同定するにはどうすればよいか？
• RQ3 後方確率と発散の両方が高い「敵対的モデル」を用いることで、認識的不確実性積分の近似が改善できるか？
• RQ4 不確実性のキャリブレーションおよびOOD検出という観点から、QUAMは確立された不確実性定量化ベースラインと比較して、どのように性能を発揮するか？

主な発見

• QUAMは、高後方確率モードにとどまらず、被積分関数が大きな領域に注目することで、認識的不確実性推定における近似誤差を顕著に低減する。
• QUAMが同定した敵対的モデルは、ソフトマックス出力の主成分分析（PCA）により、特徴の使用法と予測空間において高い多様性を示す。
• 敵対的モデルのアンサンブルは、ディープアンサンブルと比較して、予測空間における凸包がより広がっており、予測の多様性が顕著に高いことが示された。
• MNISTでは約120 GPU時間（1サンプルあたり約4 GPU秒）、ImageNetでは約100 GPU時間（1サンプルあたり約45 GPU秒）を要した。
• 特にOODサンプルの検出において、QUAMはディープアンサンブルやMCドロップアウトを上回る性能を発揮した。
• 本手法は、外部のフォーベーションモデルを対象とした事前に選択されたモデルの不確実性定量化において優れた性能を示し、実世界のデプロイメントに適している。

(a) Deep Ensembles