[論文レビュー] Detecting Out-of-Distribution Inputs in Deep Neural Networks Using an Early-Layer Output

Vahdat Abdelzad, Krzysztof Czarnecki+4 more|arXiv (Cornell University)|Oct 23, 2019

Anomaly Detection Techniques and Applications参考文献 37被引用数 35

ひとこと要約

論文は、事前学習済み分類器の早期層（最適な OOD 判別層）の特徴上で one-class classifier を用いる OOD 検出器を提案し、OOD データや再訓練を回避しつつ、性能を向上させる入力前処理を任意で適用できる点を示す。

ABSTRACT

Deep neural networks achieve superior performance in challenging tasks such as image classification. However, deep classifiers tend to incorrectly classify out-of-distribution (OOD) inputs, which are inputs that do not belong to the classifier training distribution. Several approaches have been proposed to detect OOD inputs, but the detection task is still an ongoing challenge. In this paper, we propose a new OOD detection approach that can be easily applied to an existing classifier and does not need to have access to OOD samples. The detector is a one-class classifier trained on the output of an early layer of the original classifier fed with its original training set. We apply our approach to several low- and high-dimensional datasets and compare it to the state-of-the-art detection approaches. Our approach achieves substantially better results over multiple metrics.

研究の動機と目的

• DNN における安全 critical なタスクのための out-of-distribution 入力の検知の必要性を動機づける。
• 分類器の再訓練やOODサンプルへのアクセスを必要としない検出器を提案する。
• ID と OOD の分布が十分に分離される最適な早期層潜在空間（OODL）を特定・活用する。
• 最先端の検出器と比較して、複数の低次元・高次元データセットで方法を評価する。

提案手法

• 早期層（OODL）を介してIDとODDの分布を分離する潜在空間を定義する。
• 訓練データの特徴で訓練された one-class SVM（OSVM）を用いて層ごとの検出誤差を評価し、OODL を探索する。
• 推論時にOODL の特徴上で one-class detector を用い、ID vs. OOD 入力を識別する。
• 畳み込み層については、OSVM の前に特徴マップのチャネルごとの平均プーリングによって次元を削減する。
• 必要に応じて入力前処理（ODIN にあるように）を適用して入力を摂動させ検出を改善することもできるが、手法自体は前処理なしでも良好に動作する。

実験結果

リサーチクエスチョン

• RQ1 固定された分類器の早期層が、OODサンプルなしでIDとOOD の分布を十分に分離する潜在空間を提供できるか。
• RQ2 あるネットワークにおいて、頑健な OOD 検出のための最適な OOD 判別層（OODL）はどの層か。
• RQ3 OODL の特徴上の one-class detector は、異なるデータセット間で既存の max-softmax、ODIN、MD ベースの検出器を上回るか。
• RQ4 提案手法の性能に対する入力前処理の影響はどの程度か。

主な発見

• 提案手法は、複数の指標でベースラインおよび最先端手法より検出性能を大幅に向上させる。
• 最適な OOD 判別層（OODL）は通常低レベルの層であり、異なる OOD データセットに対して一貫しているが、ID データセットとアーキテクチャにより変化する。
• 高次元の早期層特徴に対して削減後の OSVM を用いることで、訓練時に OOD データを必要とせずに効果的な高次元 OOD 検出を実現する。
• 入力前処理は検出をさらに強化できるが、前処理なしでもすでに強力な結果を達成している。
• 検出器は再訓練なしで既存の事前学習済み分類器に適用でき、OOD サンプルへのアクセスも不要である。