[論文レビュー] Diversified Outlier Exposure for Out-of-Distribution Detection via Informative Extrapolation

Jianing Zhu, Yu Geng+5 more|arXiv (Cornell University)|Oct 21, 2023

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、多段階最適化と情報的な外挿を用いてより有益なアウトライヤーを合成することで、分布外（OOD）検出を向上させる、Diversified Outlier Exposure（DivOE）という新しいフレームワークを提案する。元のデータを超えて補助的アウトライヤー分布を多様化させることで、OOD一般化性能が向上し、CIFAR-10、CIFAR-100、ImageNetを含む複数のベンチマークで、FPR95が低く抑えられた最先端の性能を達成する。

ABSTRACT

Out-of-distribution (OOD) detection is important for deploying reliable machine learning models on real-world applications. Recent advances in outlier exposure have shown promising results on OOD detection via fine-tuning model with informatively sampled auxiliary outliers. However, previous methods assume that the collected outliers can be sufficiently large and representative to cover the boundary between ID and OOD data, which might be impractical and challenging. In this work, we propose a novel framework, namely, Diversified Outlier Exposure (DivOE), for effective OOD detection via informative extrapolation based on the given auxiliary outliers. Specifically, DivOE introduces a new learning objective, which diversifies the auxiliary distribution by explicitly synthesizing more informative outliers for extrapolation during training. It leverages a multi-step optimization method to generate novel outliers beyond the original ones, which is compatible with many variants of outlier exposure. Extensive experiments and analyses have been conducted to characterize and demonstrate the effectiveness of the proposed DivOE. The code is publicly available at: https://github.com/tmlr-group/DivOE.

研究の動機と目的

• 既存のアウトライヤー露出（OE）手法が限られた、代表的でない補助的アウトライヤーに依存しているという、重要な課題に対処する。これは、分布内とOODデータの境界を十分にカバーしない可能性がある。
• 与えられた補助的アウトライヤーが十分に情報的でない、または多様性に欠けている場合に、OOD検出性能をどのように向上させられるかを調査する。
• より有益で外挿されたアウトライヤーを生成することで、サーヴィェイリングOOD分布を能動的に拡張するフレームワークを開発する。これにより、分布ギャップを埋めることを目的とする。
• さまざまなOEバリアントおよびバックボーンアーキテクチャと互換性を持たせることで、実用的利便性を最大化する。
• 特に補助的アウトライヤーが少ない状況下でも、多様なOOD検出ベンチマークで一貫した性能向上を示す。

提案手法

• 元のアウトライヤーと合成された外挿アウトライヤーの間の乖離を明示的に最大化する新しい学習目的を提案する。これにより、多様性と情報性が促進される。
• モデルの不確実性と勾配信号に従って、高影響度の方向に元の補助的アウトライヤーを摂動させることで、複数段階の最適化プロセスを実装し、新たなアウトライヤーを生成する。
• 標準的なOEファインチューニングを介して外挿されたアウトライヤーを訓練プロセスに統合し、モデルが広範なOOD境界を学習できるようにする。
• 外挿と併用してミックスアップ風のデータ拡張を活用することで、さらに一般化性能とロバストネスを向上させる。
• エネルギーに基づくスコアリングと損失差分析を用いて、生成されたアウトライヤーの情報性を検証し、それらが重要な意思決定領域に位置することを保証する。
• 複数のOOD検出手法（例：Energy、NTOM、POEM、OE）およびバックボーンネットワークと互換性を持つフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 補助的アウトライヤーが十分に代表的でない、または意思決定境界付近に希薄である場合、OOD検出性能を向上させることは可能か？
• RQ2 未確認のOOD入力により一般化できる、より有益なアウトライヤーを体系的に生成する方法は何か？
• RQ3 元の補助的アウトライヤー分布を超えて外挿することで、より広範かつロバストなOOD耐性意思決定境界が得られるか？
• RQ4 補助的アウトライヤーの数が変化する状況下で、DivOEの性能は標準OEおよび他のSOTA手法と比べてどうなるか？
• RQ5 異なる摂動の大きさ（ε）が、生成されたアウトライヤーの質と情報性に与える影響は何か？

主な発見

• DivOEはCIFAR-10およびCIFAR-100ベンチマークで最先端の性能を達成し、OEとミックスアップを組み合わせた場合、平均FPR95が4.97％まで低下した。
• CIFAR-100では、DivOE+MixupがFPR95 4.97％、AUROC 76.06％を達成し、標準OEおよび他のベースラインを上回った。
• 補助的アウトライヤーが1,000個しか存在しない状況でも、DivOEは強力な性能（FPR95 ≈ 48.35％）を維持した。これは標準OE（FPR95 ≈ 54.31％）よりも優れており、低データ環境下でのロバストネスを示した。
• 元のアウトライヤーと外挿されたアウトライヤーの間のOOD損失差はεが増加するにつれて増加し、ε=0.2でピーク（20.29）に達し、ε=0.5では24.16に達した。これにより、モデルがますます有益なサンプルから学習していることが確認された。
• 可視化結果から、外挿されたアウトライヤーが、特に意思決定境界付近でこれまで未到達だった特徴空間の領域をカバーしていることが示された。
• エネルギー、NTOM、POEMなど複数のOOD検出ヘッドに対して効果的であり、広範な互換性と一般化性能を示している。