[論文レビュー] Contrastive Training for Improved Out-of-Distribution Detection

Jim Winkens, Rudy Bunel+11 more|arXiv (Cornell University)|Jul 10, 2020

Anomaly Detection Techniques and Applications参考文献 39被引用数 52

ひとこと要約

この論文は対比学習を用いて explicit OOD サ supervision を必要とせずに OOD 検出を改善し、いくつかのベンチマークで最先端の AUROC を達成し、タスクの難易度を定量化する Confusion Log Probability (CLP) を導入します。

ABSTRACT

Reliable detection of out-of-distribution (OOD) inputs is increasingly understood to be a precondition for deployment of machine learning systems. This paper proposes and investigates the use of contrastive training to boost OOD detection performance. Unlike leading methods for OOD detection, our approach does not require access to examples labeled explicitly as OOD, which can be difficult to collect in practice. We show in extensive experiments that contrastive training significantly helps OOD detection performance on a number of common benchmarks. By introducing and employing the Confusion Log Probability (CLP) score, which quantifies the difficulty of the OOD detection task by capturing the similarity of inlier and outlier datasets, we show that our method especially improves performance in the `near OOD' classes -- a particularly challenging setting for previous methods.

研究の動機と目的

• 現実世界の展開に向けて、分布内データのみからよりリッチでタスクに依存しない表現を学習することで堅牢な OOD 検出を動機づける。
• 対比学習を活用して、分布内および潜在的な OOD の変動に対する感度を保つ特徴空間を形成する。
• 近接および遠方の OOD レジーム across を通じてアプローチを評価し、新しい CLP 指標でタスク難易度を定量化する。
• 訓練中に OOD ラベルを必要とせず、既存の手法より実用的な性能向上を実証する。

提案手法

• SimCLR 風のエンコーダを採用し、2 つの射影ヘッドを備える：分類ヘッド g_φ と対比埋め込みヘッド h_ν。
• 二段階の目的関数で訓練する：まず豊かな表現を学習するために対比損失 L_con のみを使用、次に識別を確定するために結合損失 L_con + λ L_class を用いる。
• ペナルティ前層の活性化 z に対してクラス条件付ガウス密度を適合させ、クラスごとの最大値を取ることで OOD スコア s(x) を計算する（式(2)と同様）。
• ラベル平滑化を使用して同クラス内の活性化クラスタをより緊密に促し、OOD 検出のための密度推定を改善する。
• 近傍・遠方・混合の OOD レジームを通じて AUROC および OOD ランクで OOD パフォーマンスを評価し、タスク難易度を定量化するために Confusion Log Probability（CLP）を導入する。

実験結果

リサーチクエスチョン

• RQ1 対比学習を分布内データのみに適用することにより、明示的な OOD 指導なしで OOD 検出が改善されるのか？
• RQ2 提案手法は baselines と比較して近接および遠方 OOD レジームでどのように性能を示すのか？
• RQ3 ロバストな CLP 指標は OOD タスクの難易度を特徴づけ、検出性能と相関するのか？
• RQ4 対比学習とラベル平滑化を組み合わせることが、活性化空間の分離と OOD スコアにどのような影響を与えるのか？

主な発見

手法	近傍 OOD AUROC	近傍・遠傍 OOD AUROC	遠傍 OOD AUROC	平均 AUROC
Softmax 確率[11]	77.1	86.4	89.9	84.5
ODIN[19]	77.2	85.8	96.7	86.6
Mahalanobis[18]	77.5	88.2	99.1	88.3
Residual flows[38]	77.1	89.4	99.1	88.5
Outlier exposure[12]	75.7	93.3	98.4	89.1
Rotation pred.[13]	-	90.9	98.9	-
Gram matrix[31]	67.9	79.0	99.5	82.1
本手法	78.3	92.9	99.5	90.2

• 提案手法は近接および遠方 OOD 設定の両方で OOD 検出を改善し、近接 OOD CIFAR-10 対 CIFAR-100 で 78.3 AUROC、混合近接/遠方 OOD CIFAR-10 対 CIFAR-100 で 92.9 AUROC を達成した。
• 遠方 OOD（CIFAR-10 in 対 SVHN out）では AUROC が 99.5 に達し、訓練やチューニング時にラベル付き OOD データを使用せずとも最先端と競合する。
• 3 データセット対の平均 AUROC は 90.2 に達し、訓練時にアウトライヤデータを必要とする従来法を上回る。
• アブレーションでは、ラベル平滑化と対比訓練を組み合わせると活性化空間の形成が最も良く、実行間での OOD ランクの変動が最も小さくなる。
• CLP は OOD タスクの難易度を示すのに有効で、近接 OOD シナリオでより高い CLP を示し、検出タスクがより難しいことを示している。
• 本手法は明示的なアウトライヤデータに依存せず、高容量ネットワークとスケールすることができ、ラベルなしデータ設定と整合する。