[論文レビュー] Deep Anomaly Detection with Outlier Exposure

Dan Hendrycks, Mantas Mazeika+1 more|arXiv (Cornell University)|Dec 11, 2018

Anomaly Detection Techniques and Applications被引用数 401

ひとこと要約

Outlier Exposure (OE) は補助的なアウトライヤーデータセットを用いて異常検知器を訓練し、視覚タスクと NLP タスク全体で未知の異常の検出を改善し、OOD 検出と校正を向上させる。

ABSTRACT

It is important to detect anomalous inputs when deploying machine learning systems. The use of larger and more complex inputs in deep learning magnifies the difficulty of distinguishing between anomalous and in-distribution examples. At the same time, diverse image and text data are available in enormous quantities. We propose leveraging these data to improve deep anomaly detection by training anomaly detectors against an auxiliary dataset of outliers, an approach we call Outlier Exposure (OE). This enables anomaly detectors to generalize and detect unseen anomalies. In extensive experiments on natural language processing and small- and large-scale vision tasks, we find that Outlier Exposure significantly improves detection performance. We also observe that cutting-edge generative models trained on CIFAR-10 may assign higher likelihoods to SVHN images than to CIFAR-10 images; we use OE to mitigate this issue. We also analyze the flexibility and robustness of Outlier Exposure, and identify characteristics of the auxiliary dataset that improve performance.

研究の動機と目的

• ディストリビューションシフト下で深層学習システムの頑健な異常検知を動機づける。
• 一般化可能なOOD手掛かりを学習するための補助アウトライヤーデータセットを用いたOEを提案する。
• OEはタスクとアーキテクチャを横断して既存のOOD検出器を強化する。
• OEがOOD露出下で密度推定と分類器キャリブレーションに有益であることを示す。

提案手法

• OEを、OEアウトライヤーに対する信頼度を低下させる項を訓練目的に加える形式として定式化する。
• OEデータに対する出力を一様分布に近づける（または信頼度を低下させる）ようネットワークを微調整または訓練し、未知の異常に対する過度な自信を抑制する。
• 合成ノイズやGANではなく、実世界の多様なOEデータセット（例：80 Million Tiny Images, ImageNet-22K, WikiText-2）をアウトライヤーとして使用する。
• 視覚と言語のマルチクラス分類器にOEを適用し、MSPと信頼度ブランチをOOD検出器として使用する。
• 密度推定器（PixelCNN++）や言語モデル（QRNN）を用いて、調整済み尤度信号を通じてOOD検出を改善するOEを探る。
• データセットの多様性と近さの効果を調査し、現実的なOODテスト設定で校正の改善を評価する。

実験結果

リサーチクエスチョン

• RQ1 Outlier Exposureは見捨てられた異常分布へのOOD検出器の一般化を改善できるか？
• RQ2 実際に多様なアウトライデータを組み込むことは、OOD検出のための合成またはノイズベースのアウトライヤーよりも優れているか？
• RQ3 OEは既存の検出器（MSP、信頼度ブランチ）および密度推定・言語モデルとどのように相互作用するか？
• RQ4 データの一部がOODである場合、予測のキャリブレーションにOEはどのような影響を与えるか？
• RQ5 OEデータセットの特徴（多様性、近さ）は性能にどのように影響するか？

主な発見

データセット	FPR95 MSP	FPR95 +OE	AUROC MSP	AUROC +OE	AUPR MSP	AUPR +OE
SVHN	6.3	0.1	98.0	100.0	91.1	99.9
CIFAR-10	34.9	9.5	89.3	97.8	59.2	90.5
CIFAR-100	62.7	38.5	73.1	87.9	30.1	58.2
Tiny ImageNet	66.3	14.0	64.9	92.2	27.2	79.3
Places365	63.5	28.2	66.5	90.6	33.1	71.0

• OEは視覚およびNLPタスク全体で平均OOD検出性能を一貫して向上させる。
• 実世界の多様なOEデータは、ほとんどの設定で合成またはGAN生成のアウトライヤーより上回る。
• OEは密度推定ベースのOODスコアリングをアウトライヤーに対してより妥当な密度へと高める。
• 現実的な設定での混在分布正規性データを用いたニューラル分類器のキャリブレーションを改善する。
• 既存の検出器と組み合わせてOEを使用すると、特定のテスト分布外への適合なしで実質的な利得が得られる。