[論文レビュー] Generalized Out-of-Distribution Detection: A Survey

Jingkang Yang, Kaiyang Zhou+2 more|arXiv (Cornell University)|Oct 21, 2021

Anomaly Detection Techniques and Applications参考文献 177被引用数 323

ひとこと要約

OOD検出の総合的な調査で、OSRとオープンワールド認識の区別を明確にし、ファウンデーションモデルを統合し、ベンチマーク実践と理論的基礎を整理し、実務的ガイダンスとOpenOODリソースを提供します。

ABSTRACT

Out-of-distribution (OOD) detection is critical to ensuring the reliability and safety of machine learning systems. For instance, in autonomous driving, we would like the driving system to issue an alert and hand over the control to humans when it detects unusual scenes or objects that it has never seen during training time and cannot make a safe decision. The term, OOD detection, first emerged in 2017 and since then has received increasing attention from the research community, leading to a plethora of methods developed, ranging from classification-based to density-based to distance-based ones. Meanwhile, several other problems, including anomaly detection (AD), novelty detection (ND), open set recognition (OSR), and outlier detection (OD), are closely related to OOD detection in terms of motivation and methodology. Despite common goals, these topics develop in isolation, and their subtle differences in definition and problem setting often confuse readers and practitioners. In this survey, we first present a unified framework called generalized OOD detection, which encompasses the five aforementioned problems, i.e., AD, ND, OSR, OOD detection, and OD. Under our framework, these five problems can be seen as special cases or sub-tasks, and are easier to distinguish. We then review each of these five areas by summarizing their recent technical developments, with a special focus on OOD detection methodologies. We conclude this survey with open challenges and potential research directions.

研究の動機と目的

• OSR、オープンワールド認識、関連パラダイム間の関係を明確にする。
• 分布シフトのあるX（入力）とY（ラベル）に対するOOD検出の統一フレームワークを概説する。
• 主要な手法、ベンチマーク、データセットを調査し、OpenOODと実践的な実験ガイダンスを論じる。
• ファウンデーションモデルと適合性予測（Conformal Prediction）のOOD検出における役割を論じ、将来の方向性を特定する。

提案手法

• 分布P(X)とP(Y)およびそのシフト（共変量と意味的）を正式に定義する。
• 一般的なフレームワーク内でOODタスクを分類し、関連設定（OSR、AD/ND）と対比する。
• ファウンデーションモデルベースのアプローチやゼロショット/検出技術を含む最近の手法を要約する。
• ベンチマーク実践と現実世界のデータセットについて論じ、統一的なベンチマーキングプラットフォームとしてOpenOODを促進する。
• 理論的視点を取り入れ、OOD信頼度の潜在的ツールとしてConformal Predictionを議論する。

実験結果

リサーチクエスチョン

• RQ1 OSR、オープンワールド認識、OOD検出を単一のフレームワークに統一するにはどうすればよいか。
• RQ2 共変量シフトと意味的シフトがOOD検出器の性能に与える影響は何か、全スペクトラムのOODへ一般化できるか。
• RQ3 ファウンデーションモデルとビジョンランゲージモデルはOOD検出にどのように影響するか、どのチューニング戦略が性能を助けるか妨げるか。
• RQ4 現実世界のOOD課題を最もよく反映するベンチマークとデータセットは何か、ベンチマーキングはどう実施すべきか。
• RQ5 現代のモデルにおけるOOD検出へ適用可能な理論的基盤と確率的保証は何か。

主な発見

• 現在の検出器は、意味的シフトより共変量シフトに対してより高感度を示すことが多く、全スペクトラムのOODを検討する必要性を示している。
• オープンワールドとファウンデーションモデルの議論がますます重要になっており、OpenOODは統一的なベンチマークフレームワークとレポートを提供している。
• Conformal predictionはOOD文脈で信頼度を提供する有望なツールとして識別されている。
• ベンチマーキングは現実的なデータセット（例：WILDS、ImageNetの修正ベンチマーク）と現実世界のシナリオを強調すべきである。
• 本調査はOOD検出を大規模な多模態モデルや世界モデルと結びつける重要性を強調しており、信頼性向上に寄与する。