[論文レビュー] A Variational Dirichlet Framework for Out-of-Distribution Detection

Wenhu Chen, Yilin Shen+2 more|arXiv (Cornell University)|Nov 18, 2018

Adversarial Robustness in Machine Learning参考文献 44被引用数 14

ひとこと要約

本稿では、K次元単体上でのラベルごとの不確実性を高階の分布としてモデル化する変分ディリクレフレームワークを提案する。これは、ディリクレ分布に従うカテゴリカル確率の真の事後分布を近似するための変分推論を用いる。学習された事後分布のエントロピーが、敵対的微小変化を加えた状況でも、従来手法を上回る堅牢な不確実性測度として機能する。

ABSTRACT

With the recently rapid development in deep learning, deep neural networks have been widely adopted in many real-life applications. However, deep neural networks are also known to have very little control over its uncertainty for unseen examples, which potentially causes very harmful and annoying consequences in practical scenarios. In this paper, we are particularly interested in designing a higher-order uncertainty metric for deep neural networks and investigate its effectiveness under the out-of-distribution detection task proposed by~\cite{hendrycks2016baseline}. Our method first assumes there exists an underlying higher-order distribution $\mathbb{P}(z)$, which controls label-wise categorical distribution $\mathbb{P}(y)$ over classes on the K-dimension simplex, and then approximate such higher-order distribution via parameterized posterior function $p_θ(z|x)$ under variational inference framework, finally we use the entropy of learned posterior distribution $p_θ(z|x)$ as uncertainty measure to detect out-of-distribution examples. Further, we propose an auxiliary objective function to discriminate against synthesized adversarial examples to further increase the robustness of the proposed uncertainty measure. Through comprehensive experiments on various datasets, our proposed framework is demonstrated to consistently outperform competing algorithms.

研究の動機と目的

• 既存の分布外検出手法が、アルエアトリック不確実性とエピステミック不確実性を混同するという限界を解消すること。
• データノイズに起因する不確実性と、分布シフトに起因する不確実性を区別できる高階の不確実性指標を開発すること。
• 分類確率の背後にある分布をディリクレ分布としてモデル化することで、高階の不確実性を捉えること。
• 敵対的例に対する補助的判別的目的関数を組み込むことで、不確実性推定の堅牢性を向上させること。
• 変分推論と敵対的損失を統合した一貫した訓練目的関数を用いて、多様なアーキテクチャとデータセットにおける一般化を実証すること。

提案手法

• ラベルごとのカテゴリカル分布を、K次元単体 S_K 上の高階の分布 P(z) に従うK次元の確率的変数 z としてモデル化する。
• ニューラルネットワークを用いて、変分推論により真の事後分布 p(z|y) を近似するディリクレ事後分布 p_θ(z|x) をパラメータ化する。
• 予測におけるエピステミック不確実性を定量化するため、変分事後分布のエントロピー H(p_θ(z|x)) を不確実性として定義する。
• FGSMで生成された敵対的例とインダイアスティックデータを区別するための補助的判別的目的関数を導入する。
• 変分下界と判別的目的関数を統合し、エンドツーエンド最適化が可能な統一された訓練目的関数を構築する。
• ディリクレ事後分布のエントロピーを閉形式で計算可能とすることで、モンテカルロサンプリングを必要としない、効率的かつスケーラブルな不確実性推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 ラベル分布を高階のディリクレ分布としてモデル化することで、エピステミック不確実性とアルエアトリック不確実性を分離することにより、分布外検出性能が向上するか？
• RQ2 変分ディリクレ事後分布のエントロピーを不確実性指標として用いることで、ソフトマックスの信頼度や他の不確実性スコアに比べ、より信頼性の高い不確実性測定が可能になるか？
• RQ3 提案された補助的判別的目的関数は、分布外検出における敵対的摂動に対する堅牢性を向上させるのにどの程度有効か？
• RQ4 本フレームワークは、CIFAR100など挑戦的なデータセットを含め、異なるネットワークアーキテクチャとデータセットに一般化可能か？
• RQ5 事前分布の指定とバランス調整ハイパーパrameterの設定が、最終的な検出性能に与える影響は何か？

主な発見

• 提案された変分ディリクレフレームワークは、CIFAR10 や CIFAR100 を含む複数の分布外検出ベンチマークで、従来手法を一貫して上回る性能を示した。
• 一様でない、情報量のある事前分布（真のラベル情報を保持）を用いることで、一様事前分布よりも高い検出精度が得られた。
• 敵対的判別的目的関数の導入により、すべてのアーキテクチャとデータセットで検出性能が向上し、特に CIFAR100 では顕著な向上が見られた。
• 変分目的と判別的目的の間のバランス要因を 0.1 に設定した場合が最適であり、それより小さすぎたり大きすぎたりすると性能が劣化した。
• 本手法は最先端の AUROC スコアを達成し、インダイアスティックデータと分布外データを効果的に分離できることを示した。
• ディリクレエントロピーの閉形式計算により、ベイジアンニューラルネットワークとは異なり、モンテカルロサンプリングを必要としない、効率的な不確実性推定が可能となった。