[論文レビュー] Fine-grained Out-of-Distribution Detection with Mixup Outlier Exposure.

Jingyang Zhang, Nathan Inkawhich+2 more|arXiv (Cornell University)|Jun 7, 2021

Anomaly Detection Techniques and Applications被引用数 11

ひとこと要約

本稿では、混合データ拡張とvicinalリスク最小化による異常値露出を組み合わせることで、細分化された分布外（OOD）検出の性能を向上させる、新しいトレーニング手法であるMixup Outlier Exposure（MixupOE）を提案する。本手法は、新たに構築された5つの細分化されたOOD検出ベンチマークにおいて、既存手法と比較して一貫した性能向上を示し、現実的で高解像度なOOD検出タスクのためのより強固なベースラインを確立する。

ABSTRACT

Enabling out-of-distribution (OOD) detection for DNNs is critical for their safe and reliable operation in the open world. Unfortunately, current works in both methodology and evaluation focus on rather contrived detection problems, and only consider a coarse level of granularity w.r.t.: 1) the in-distribution (ID) classes, and 2) the OOD data's closeness to the ID data. We posit that such settings may be poor approximations of many real-world tasks that are naturally fine-grained (e.g., bird species classification), and thus the reported detection abilities may be over-estimates. Differently, in this work we make granularity a top priority and focus on fine-grained OOD detection. We start by carefully constructing five novel fine-grained test environments in which existing methods are shown to have difficulties. We then propose a new DNN training algorithm, Mixup Outlier Exposure (MixupOE), which leverages an outlier distribution and principles from vicinal risk minimization. Finally, we perform extensive experiments and analyses in our custom test environments and demonstrate that MixupOE can consistently improve fine-grained detection performance, establishing a strong baseline in these more realistic and challenging OOD detection settings.

研究の動機と目的

• 細分化された現実的でない検出設定に焦点を当てた既存のOOD検出手法のギャップを是正する。
• 実用的応用の課題をよりよく反映するため、5つの新しい細分化されたOODテスト環境を構築することで、より現実的な評価フレームワークを構築する。
• 細分化された分類シナリオにおけるOODサンプルの検出能力を向上させる新しいトレーニングアルゴリズム、MixupOEを提案する。
• 広範な実験とアブレーションスタディを通じて、細分化されたOOD検出のための強力で再現可能なベースラインを確立する。
• 現在のSOTA手法が細分化されたOOD検出で失敗することを示し、トレーニングと評価におけるアプローチの見直しの必要性を強調する。

提案手法

• 自然で意味的に類似したクラス（例：鳥の種類）を含む、現実的なオープンワールドシナリオを模倣する5つの新しい細分化されたOOD検出ベンチマークを設計する。
• 多様でID以外の異常値分布を用いた、mixup拡張と異常値露出を組み合わせたトレーニング手順であるMixupOEを導入する。
• vicinalリスク最小化の原則を活用し、ID多様体に近いOODサンプルに対しても一般化性能が高くなるようにモデルを促進する。
• IDデータ、mixupで生成された補間データ、および合成された異常値サンプルの組み合わせを用いてDNNをトレーニングし、意思決定境界の分離を向上させる。
• 意味的に似ているが同一ではないIDクラスとは異なる異常値データを模倣するため、多様な異常値分布（例：ImageNet-300）を用いる。
• IDデータにおける交差エントロピー損失と、OODサンプルに対して高い信頼度を促進する修正されたOOD損失を用いて、モデルをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 意味的に類似したクラスを有する細分化された分類タスクにおいて、現在のSOTA OOD検出手法はどの程度の性能を示すか？
• RQ2 mixupと異常値露出を組み合わせたトレーニング戦略は、細分化されたシナリオにおけるOOD検出性能を向上させることができるか？
• RQ3 異常値分布の選定が、細分化されたシナリオにおけるOOD検出の一般化性能と頑健性にどのように影響を与えるか？
• RQ4 粗い分類の仮定に基づく既存の評価プロトコルは、OOD検出性能を過大評価している程度はどの程度か？
• RQ5 MixupOEは、多様なベンチマーク環境において、細分化されたOOD検出のための強力で汎用性の高いベースラインとして機能できるか？

主な発見

• 新たに構築された細分化されたベンチマークにおいて、既存のOOD検出手法は顕著に性能を低下させ、過去の研究における過剰な評価が示唆される。
• MixupOEは、5つのすべての細分化されたテスト環境で一貫してOOD検出性能を向上させ、標準的な異常値露出やmixup単体のトレーニングと比較して優れている。
• mixupと異常値露出の統合は、IDとOODサンプルが意味的に近い領域における意思決定境界の学習を特に改善する。
• 異常値分布の選定は性能に顕著な影響を与え、より多様な分布を用いることでOOD一般化性能が向上する。
• アブレーションスタディにより、MixupOEにおけるmixupおよび異常値露出の両成分が検出性能の向上に顕著に寄与しており、それらの組み合わせが相乗効果をもたらすことが確認された。
• MixupOEは、多様で現実的なテストシナリオにおいて頑健性と一般化性能を示すため、細分化されたOOD検出の新しい強力なベースラインを確立した。