[論文レビュー] Understanding Measures of Uncertainty for Adversarial Example Detection

Lewis Smith, Yarin Gal|arXiv (Cornell University)|Mar 22, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用数 183

ひとこと要約

本論文は、予測エントロピー、相互情報、ソフトマックス分散といった異なる不確実性指標が敵対的サンプル検出においてどのように振る舞うかを分析し、MIが有効である理由を説明し、MCドロップアウトの限界を特定し、確率的アンサンブルを提案して不確実性推定を改善する。MNISTと Cats vs Dogs の実験で検証。

ABSTRACT

Measuring uncertainty is a promising technique for detecting adversarial examples, crafted inputs on which the model predicts an incorrect class with high confidence. But many measures of uncertainty exist, including predictive en- tropy and mutual information, each capturing different types of uncertainty. We study these measures, and shed light on why mutual information seems to be effective at the task of adversarial example detection. We highlight failure modes for MC dropout, a widely used approach for estimating uncertainty in deep models. This leads to an improved understanding of the drawbacks of current methods, and a proposal to improve the quality of uncertainty estimates using probabilistic model ensembles. We give illustrative experiments using MNIST to demonstrate the intuition underlying the different measures of uncertainty, as well as experiments on a real world Kaggle dogs vs cats classification dataset.

研究の動機と目的

• 異なる不確実性指標が敵対的入力、およびデータが多様体上(on-manifold)か多様体外(off-manifold)かに対してどのように応答するかを調査する。
• 敵対的サンプルの検出において、なぜ相互情報量 mutual information が他の不確実性指標より優れている可能性があるのかを説明する。
• 完全なベイズ的不確実性を捉える上でのMCドロップアウトの限界を特定する。
• 不確実性推定を改善するためのアンサンブルベースの拡張を提案する。
• MNIST および実世界データセットの Cats vs Dogs で知見を実証する。

提案手法

• 近似としてのドロップアウトを用いたベイズニューラルネットワークと変分推論をレビューする。
• 予測エントロピー、相互情報量 (MI)、およびMCドロップアウトに基づく推定値など、不確実性指標を定義・比較する。
• 理論的展開を通じてソフトマックス分散をMIに関連付け、実証的な有効性を説明する。
• 潜在空間および画像空間における不確実性を可視化し、ドロップアウトの故障モードを特定する。
• MNIST補間や ASIRRA Cats vs Dogs データセットを用いた不確実性ベースの検出を、MCドロップアウトとアンサンブルで評価する。

実験結果

リサーチクエスチョン

• RQ1 予測エントロピー、MI、ソフトマックス分散は、敵対的入力と非敵対的入力に対してどのように振る舞うか。
• RQ2 MI は、データ多様体から離れた入力と多様体上の曖昧な入力を、予測エントロピーとは異なり区別できるのか。
• RQ3 モデル不確実性を表現する際のMCドロップアウトの失敗モードは何か、アンサンブルはそれを緩和できるのか。
• RQ4 不確実性ベースの防御は、toyデータセットから Cats vs Dogs のような現実的データセットへ一般化するか。

主な発見

• 相互情報量と予測エントロピーの両方は、訓練データ多様体から離れた入力で上昇するが、MIは多様体外の敵対入力と多様体上の曖昧な入力をより確実に区別する。
• ソフトマックス分散はMIに関連しており、単純な分散ベースの不確実性が時にMIの代理指標として機能する理由を説明できるが、MIが捉えるニュアンスを見逃すことがある。
• MCドロップアウトは事後不確実性を過小評価し、潜在空間におけるギャップを露呈させ、デタラメなサンプルに対してモデルが過信してしまう。ドロップアウトモデルのアンサンブルはこれらのギャップのいくつかを緩和する。
• ドロップアウトモデルのアンサンブル（複数の初期化）は、後方分布をより良く近似し、虚偽の強い予測を減らし、敵対的入力に対する頑健性を向上させる。
• 実世界データセットの Cats vs Dogs で、MI ベースの不確実性は敵対的入力と良性入力の区別を意味ある程度達成し、エントロピーよりも優れる設定もある。一方、エントロピーは固有の aleatoric 不確実性のため高い偽陽性を示すことがある。
• 本研究は、原理的なベイズ的アプローチによる不確実性推定の改善が、敵対的な例に対する頑健性を高め、敵対的特異的な訓練を行わなくても有効になることを強調している。