[論文レビュー] Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data

Yen-Chang Hsu, Yilin Shen+2 more|arXiv (Cornell University)|Feb 26, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用数 35

ひとこと要約

要約: 本論文は OoD データなしで信頼度を h と g の分解（DeConf）と改良された入力前処理戦略を用いて OoD 検出を学習し、OoD チューニングなしで複数データセットで高い性能を達成することを提案します。

ABSTRACT

Deep neural networks have attained remarkable performance when applied to data that comes from the same distribution as that of the training set, but can significantly degrade otherwise. Therefore, detecting whether an example is out-of-distribution (OoD) is crucial to enable a system that can reject such samples or alert users. Recent works have made significant progress on OoD benchmarks consisting of small image datasets. However, many recent methods based on neural networks rely on training or tuning with both in-distribution and out-of-distribution data. The latter is generally hard to define a-priori, and its selection can easily bias the learning. We base our work on a popular method ODIN, proposing two strategies for freeing it from the needs of tuning with OoD data, while improving its OoD detection performance. We specifically propose to decompose confidence scoring as well as a modified input pre-processing method. We show that both of these significantly help in detection performance. Our further analysis on a larger scale image dataset shows that the two types of distribution shifts, specifically semantic shift and non-semantic shift, present a significant difference in the difficulty of the problem, providing an analysis of when ODIN-like strategies do or do not work.

研究の動機と目的

• OoD データをチューニングに使わずにオープンワールド仮説の下で OoD 検出を動機づける。
• 信用を分解して信頼度をインドメイン項とドメイン項に分けるデビデンド/ディビドー設計（DeConf）を導入する。
• 同一データ分布のみを用いて摂動量を調整するよう、入力前処理を適応・改善する。
• 標準および大規模 OoD ベンチマークを横断した体系的な実証分析を提供し、意味的シフトと非意味的シフトを理解する。

提案手法

• p(y|d_in, x) を p(y, d_in|x) / p(d_in|x) に分解する確率的見方を導入し、f_i(x) = h_i(x)/g(x) のデビド/ディビド構造として実装する。
• I, E, C の バリアントで penultimate 層特徴から内積、ユークリッド距離、コサイン類似度を用いて h_i(x) を設計する。
• h_i と g の二分岐で p(y, d_in|x) に対するクロスエントロピーを最大化するよう学習し、分解された信頼度がインドメーション信号とアウトオブディストリビューション信号を分離するよう促す。
• g(x) を学習された温度様、ドメイン確率関数として用い、信頼度を較正して OoD 判別を改善する。
• 入力前処理 (IPP) を修正し、インディストリビューションデータに基づく単一の摂動量 epsilon* を選択して S(x) を最大化する。
• OoD データなしでの ID 横断評価を用いて評価し、ODIN および Mahalanobis のベースラインと OoD チューニングなしで比較する。

実験結果

リサーチクエスチョン

• RQ1 OoD データを用意せずに hyperparameters をチューニングするには OoD 検出をどう実行するのか？
• RQ2 デビド/ディビド構造に信頼度を分解することで OoD ディスクリミネーションを改善できるか？
• RQ3 インディストリビューションデータのみを用いた学習済み入力摂動戦略は、多様なデータセットで OoD 検出を効果的に高められるか？
• RQ4 意味的シフトと非意味的シフトは OoD 検出手法の性能にどのような影響を与えるか？
• RQ5 異なる h_i(x) の定式化（I, E, C）と g(x) が頑健性とスケーラビリティに与える影響は何か？

主な発見

ID	OoD	AUROC_baseline	AUROC_ODIN*	AUROC_Mahalanobis*	AUROC_DeConf-C*	ID	OoD	TNR@TPR95_baseline	TNR@TPR95_ODIN*	TNR@TPR95_Mahalanobis*	TNR@TPR95_DeConf-C*
CIFAR-100	Imagenet(c)	79.0	90.5	92.4	97.6	CIFAR-100	Imagenet(c)	25.3	56.0	63.5	87.8
CIFAR-100	Imagenet(r)	76.4	91.1	96.4	98.6	CIFAR-100	Imagenet(r)	22.3	59.4	82.0	93.3
CIFAR-100	LSUN(c)	78.6	89.9	81.2	95.3	CIFAR-100	LSUN(c)	23.0	53.0	31.6	75.0
CIFAR-100	LSUN(r)	78.2	93.0	96.6	98.7	CIFAR-100	LSUN(r)	23.7	64.0	82.6	93.8
CIFAR-100	iSUN	76.8	91.6	96.5	98.4	CIFAR-100	iSUN	21.5	58.4	81.2	92.5
CIFAR-100	Uniform	65.0	91.4	100.0	99.9	CIFAR-100	Uniform	2.95	66.1	100.0	100.0
CIFAR-100	Gaussian	48.0	62.0	100.0	99.9	CIFAR-100	Gaussian	0.06	33.3	100.0	100.0
CIFAR-10	Imagenet(c)	92.1	88.2	96.3	98.7	CIFAR-10	Imagenet(c)	50.0	47.8	81.2	93.4
CIFAR-10	Imagenet(r)	91.5	90.1	98.2	99.1	CIFAR-10	Imagenet(r)	47.4	51.9	90.9	95.8
CIFAR-10	LSUN(c)	93.0	91.3	92.2	98.3	CIFAR-10	LSUN(c)	51.8	63.5	64.2	91.5

• DeConf のバリアントは OoD ディスクリミネーションを OoD データを使わずに大幅に改善する（AUROC および TNR@TPR95 がデータセット間で改善）。
• DeConf-E および DeConf-C バリアントは、イン・ディストリビューションクラス数の増加とともに最良の頑健性とスケーラビリティを示すことが多い。
• 単一のインディストリビューションデータに基づく epsilon* の IPP は OoD 判別を強力化し、 OoD データセットへのチューニング依存を低減する。
• DeConf と修正 IPP の組み合わせは、多くのベンチマークで強力な baselines（ODIN*, Mahalanobis*）に対して優れた性能を示す。
• 意味的シフトと非意味的シフトは OoD 検出の難易度が異なり、意味的シフトの方が一般に難しい。
• 追加の正則化は DeConf-I および g(x) の性能を改善する可能性があり、デビド/ディビド設計の過剰適合を示唆する。