[論文レビュー] Unsupervised Out-of-Distribution Detection by Maximum Classifier Discrepancy

Qing Yu, Kiyoharu Aizawa|arXiv (Cornell University)|Aug 14, 2019

Anomaly Detection Techniques and Applications参考文献 28被引用数 10

ひとこと要約

本稿では、共有の特徴抽出器と2つの異なる分類器を備えた2ヘッドの深層畳み込みニューラルネットワーク（CNN）を用いた、教師なしの分布外（OOD）検出手法を提案する。ラベルなしの分布内（ID）および分布外（OOD）データにおいて、2つの分類器の出力の乖離を最大化することで、OODサンプルを分布内マニフォールドから効果的に分離する。OODラベルを必要とせず、複数のベンチマークおよび実世界のシミュレーションで最先端の性能を達成している。

ABSTRACT

Since deep learning models have been implemented in many commercial applications, it is important to detect out-of-distribution (OOD) inputs correctly to maintain the performance of the models, ensure the quality of the collected data, and prevent the applications from being used for other-than-intended purposes. In this work, we propose a two-head deep convolutional neural network (CNN) and maximize the discrepancy between the two classifiers to detect OOD inputs. We train a two-head CNN consisting of one common feature extractor and two classifiers which have different decision boundaries but can classify in-distribution (ID) samples correctly. Unlike previous methods, we also utilize unlabeled data for unsupervised training and we use these unlabeled data to maximize the discrepancy between the decision boundaries of two classifiers to push OOD samples outside the manifold of the in-distribution (ID) samples, which enables us to detect OOD samples that are far from the support of the ID samples. Overall, our approach significantly outperforms other state-of-the-art methods on several OOD detection benchmarks and two cases of real-world simulation.

研究の動機と目的

• OODサンプルが一般的に存在する実世界のディープラーニング応用において、OOD入力を検出する課題に対処すること。
• 既存手法が信頼度スコアの重複により失敗する高クラスの分布内（例：CIFAR-100）設定において、OOD検出性能を向上させること。
• OODラベルを必要としない手法を開発し、OODアノテーションが限られているか、存在しない実世界のシステムへの実用的導入を可能とすること。
• FOOD-101 や DeepFashion などの多様なアーキテクチャおよび実世界のシミュレーションデータセットにおいて、本手法の頑健性と一般化性能を示すこと。

提案手法

• 共通の特徴抽出器を共有するが、異なる意思決定境界を持つ2つの分類器を備えた2ヘッドの深層畳み込みニューラルネットワーク（CNN）を採用する。
• OODラベルを必要とせず、ラベル付きの分布内（ID）データと、IDおよびOODサンプルを含むラベルなしデータのみを用いてモデルを訓練する。
• ラベルなしデータにおける2つの分類器の予測の差を最大化するための乖離損失を導入し、OODサンプルを2つの意思決定境界の間隔に押し込む。
• ラベル付きIDデータにおける標準的な交差エントロピー損失と、ラベルなしデータにおける乖離損失を組み合わせた訓練目的を最適化することで、正しくID分類を行うとともにOOD分離を促進する。
• 本手法はDenseNet や Wide ResNet などの標準アーキテクチャと互換性があり、アーキテクチャの変更なしに任意のDNNに適用可能である。
• 最終的なOOD検出は、2つの分類器の出力の不一致（乖離）を測定することで行い、高い乖離度はOOD入力を示す。

実験結果

リサーチクエスチョン

• RQ1 分布内および分布外の両方のラベルなしデータを活用することで、OODラベルを必要とせずに教師なしOOD検出を向上させることができるか？
• RQ2 特に高クラスのID設定において、分類器の乖離を最大化することで、OODサンプルを分布内マニフォールドから効果的に分離できるか？
• RQ3 本手法は、食品認識やファッション認識などの異なるネットワークアーキテクチャおよび実世界の応用分野に一般化可能か？
• RQ4 ラベルなしデータのサイズおよび構成が、OOD検出システムの頑健性と性能に与える影響は何か？
• RQ5 信頼度ベースの手法と比較して、2つの分類器の乖離は、信頼性があり効果的なOOD検出信号として機能するか？

主な発見

• 提案手法は、CIFAR-100 vs. TinyImageNet や CIFAR-100 vs. iSUN といったすべてのテストベンチマークで、ODIN や ELOC といった最先端手法を顕著に上回る性能を達成した。
• FOOD-101 をIDとして、TinyImageNet-crop や LSUN-crop をOODとして用いた場合、複数の設定でAUROC値が0.99を超えるほぼ完璧な検出性能を達成した。
• ラベルなしデータに9,000個のIDサンプルに対して僅か500個のOODサンプルしか含まれない状況でも、本手法は性能を維持し、ラベルなしデータの不均衡に頑健であることを示した。
• 分布内サンプルでは乖離損失が常に低く抑えられ、乖離の差が大きいほど検出誤差が小さくなる傾向にあり、本手法のコアメカニズムが裏付けられた。
• FOOD-101 および DeepFashion を用いた実世界のシミュレーションでは、ODIN や ELOC と比較して優れたAUROCスコアを達成し、多様なOODデータセットにおいても最小限の性能低下を示した。
• アブレーションスタディにより、ラベルなしデータのサイズおよび構成の変化に対しても本手法が頑健であることが確認され、訓練に用いたOODデータと評価に用いたOODデータが異なる場合でも同様の性能を維持した。