[論文レビュー] Out-of-distribution Detection Learning with Unreliable Out-of-distribution Sources

Haotian Zheng, Qizhou Wang+5 more|arXiv (Cornell University)|Nov 6, 2023

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、不確実で誤って生成されたOODデータを補助検出タスクとして活用することで、本物のOOD検出を向上させるデータ生成ベースの手法である補助タスクベースのOOD学習（ATOL）を提案する。補助IDデータとOODデータのサポートが不交差であることを保証し、本物と補助のID分布を一致させることで、ATOLは誤ったOOD生成があっても予測器が頑健に学習可能となり、CIFAR-10、CIFAR-100、ImageNetベンチマークで最先端の性能を達成する。

ABSTRACT

Out-of-distribution (OOD) detection discerns OOD data where the predictor cannot make valid predictions as in-distribution (ID) data, thereby increasing the reliability of open-world classification. However, it is typically hard to collect real out-of-distribution (OOD) data for training a predictor capable of discerning ID and OOD patterns. This obstacle gives rise to data generation-based learning methods, synthesizing OOD data via data generators for predictor training without requiring any real OOD data. Related methods typically pre-train a generator on ID data and adopt various selection procedures to find those data likely to be the OOD cases. However, generated data may still coincide with ID semantics, i.e., mistaken OOD generation remains, confusing the predictor between ID and OOD data. To this end, we suggest that generated data (with mistaken OOD generation) can be used to devise an auxiliary OOD detection task to facilitate real OOD detection. Specifically, we can ensure that learning from such an auxiliary task is beneficial if the ID and the OOD parts have disjoint supports, with the help of a well-designed training procedure for the predictor. Accordingly, we propose a powerful data generation-based learning method named Auxiliary Task-based OOD Learning (ATOL) that can relieve the mistaken OOD generation. We conduct extensive experiments under various OOD detection setups, demonstrating the effectiveness of our method against its advanced counterparts.

研究の動機と目的

• 分布外検出における不確実なOODデータ生成の課題に対処すること。具体的には、分布内データで訓練された生成器が、分布内意味を持つOODサンプルを生成する可能性があること。
• 既存のデータ生成ベース手法の限界を克服すること。誤って生成されたOODデータにより予測器が混乱するため、これらの手法は失敗することがあること。
• 誤った生成データを建設的に活用する手法を提案すること。具体的には、そのような不確実な生成データを有益な補助OOD検出タスクとして定式化すること。
• 理論的に、補助IDとOODデータのサポートが不交差であり、本物と補助のIDデータが同様の分布に従う場合、補助タスクからの学習が本物のOOD検出を向上させることを正当化すること。
• 多様なOOD検出設定（ImageNetを含む）において、提案手法の有効性を実験的に検証すること。

提案手法

• 補助OOD検出タスクを生成データを用いて構築する。補助IDとOODデータのサポートが潜在空間で明示的に分離され、不交差であることを保証する。
• 生成器を、MoGベースのID分布の高密度領域を避けるように、潜在空間の低密度領域からのノイズをサンプリングすることで、補助OODデータを生成するように訓練する。
• 予測器が本物のOOD検出タスクと補助タスクの両方から学習できる共同訓練手順を設計することで、一般化性能を向上させる。
• 条件C1（補助IDとOODデータのサポートが不交差）を明示的な潜在空間分割によって、条件C2（本物と補助のIDデータの分布が類似）を共有されるデータ分布モデリングによって強制する。
• 共有された特徴抽出器と、本物と補助のOOD検出のための別々のヘッドを持つマルチヘッド予測器を採用することで、知識の転送を可能にしつつ、タスク固有性を維持する。
• 本物と補助のIDデータの表現を一致させるためのコントラスト学習目的関数を適用し、ドメインの一貫性を促進し、分布シフトに対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 不確実で誤って生成されたOODデータでも、本物のOOD検出性能の向上に活用できるか？
• RQ2 どのような条件下で、不正確な生成データを用いた補助OOD検出タスクからの学習が、本物のOOD検出性能の向上に寄与するか？
• RQ3 高次元入力空間において、補助IDとOODデータのサポートを不交差に保つにはどうすればよいか？
• RQ4 不完全なOOD生成があっても、補助タスクが本物のOOD検出タスクに有益であることを保証する訓練手順は何か？
• RQ5 さまざまなベンチマーク設定下で、ATOLは最先端のOOD検出手法と比べてどのように差をつけるか？

主な発見

• ATOLはCIFAR-10で最先端の性能を達成し、FPR95が14.27 ± 0.48、AUROCが97.44 ± 0.13を達成し、既存手法を上回る。
• CIFAR-100では、FPR95が56.92 ± 1.61、AUROCが88.38 ± 0.54を達成し、多様なOOD検出シナリオにおける強力な一般化性能を示している。
• ImageNetでは、5回の実行平均でFPR95が51.84 ± 0.35、AUROCが85.85 ± 0.13を達成し、一貫性があり頑健な性能を示している。
• 誤って生成されたOODデータの悪影響を顕著に軽減しており、OODデータにIDの意味が含まれても安定した性能を示している。
• 可視化結果から、ATOLは多様で意味的に明確に分離された補助OODサンプルを生成していることが確認され、不交差な潜在空間領域の理論的設計を裏付けている。
• アブレーションスタディの結果、補助タスクは性能に顕著な貢献をしていることが示され、CIFAR-10では補助ヘッドを無効化することでAUROCが最大3.5%低下した。