[論文レビュー] OpenOOD: Benchmarking Generalized Out-of-Distribution Detection

Jingkang Yang, Pengyun Wang+14 more|arXiv (Cornell University)|Oct 13, 2022

Anomaly Detection Techniques and Applications被引用数 86

ひとこと要約

OpenOODは、異常検知、オープンセット認識、分布外検出の評価のための統一された一般化ベンチマークとコードベースを提供し、9つのベンチマークと35の手法を横断する傾向を明らかにする。

ABSTRACT

Out-of-distribution (OOD) detection is vital to safety-critical machine learning applications and has thus been extensively studied, with a plethora of methods developed in the literature. However, the field currently lacks a unified, strictly formulated, and comprehensive benchmark, which often results in unfair comparisons and inconclusive results. From the problem setting perspective, OOD detection is closely related to neighboring fields including anomaly detection (AD), open set recognition (OSR), and model uncertainty, since methods developed for one domain are often applicable to each other. To help the community to improve the evaluation and advance, we build a unified, well-structured codebase called OpenOOD, which implements over 30 methods developed in relevant fields and provides a comprehensive benchmark under the recently proposed generalized OOD detection framework. With a comprehensive comparison of these methods, we are gratified that the field has progressed significantly over the past few years, where both preprocessing methods and the orthogonal post-hoc methods show strong potential.

研究の動機と目的

• 統一された、よく構成された一般化OOD検出のベンチマークを作成し、関連タスク（AD、OSR、OOD）間の公正な比較を可能にする。
• 関連分野からの35の手法を実装した、包括的で簡単に拡張可能なコードベース（OpenOOD）を提供し、公正な評価を実現する。
• 近OIDおよびFar-OODの区別を備えた9つのベンチマークを設計し、ID/OODの分離可能性の詳細分析を可能にする。
• 前処理、データ使用、ポストホック対トレーニングベースの手法に関する経験的洞察を提供し、今後の研究を導く。

提案手法

• 共通の実験フレームワークを備えたAD、OSR、OOD検出およびモデル不確実性から35の手法を統合した統一的なOpenOODコードベースを構築する。
• 近OIDとFar-OODシナリオを含む、一般化OOD検出フレームワークの下でAD、OSR、OOD検出を網羅する9つのベンチマークを提供する。
• 手法間の公正な比較を保証するために、前処理、モデルバックボーン、訓練/テストプロトコルを標準化する。
• 共通指標（FPR@95、AUROC、AUPR）を用いて手法を評価し、主な焦点はAUROCとする。
• 単純な前処理、追加データの役割、ポストホック対トレーニングベースのアプローチの影響といった傾向を特定するために結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 多様なOOD関連手法は、AD、OSR、OODタスクを横断する統一された一般化OODベンチマークの下でどのように性能を発揮するか？
• RQ2 単純な前処理やポストホック手法は、一般化OOD検出においてトレーニングベースのアプローチと比較して競争力のある性能を達成するか？
• RQ3 外部異常データの使用がOOD検出性能に与える影響は何か、near-OODとfar-OODのシナリオは実践でどう異なるか？
• RQ4 OSRベンチマークは、方法の有効性とID精度の点でOOD検出ベンチマークとどのように整合するか？

主な発見

• ポストホックおよび前処理法は、一般化ベンチマークでより多くの場合、より多く訓練されたアプローチよりも優れている。
• 追加の異常データは一貫して性能を改善しないことがあり、その効果はデータセット依存である。
• データ拡張とモデル不確実性の手法（例: PixMix、Mixup、アンサンブル）は、ベンチマーク全体で高いパフォーマンスを示す。
• ImageNetベースの評価はCIFARベースよりAUROCスコアが高い傾向があり、データセットの複雑さの影響を示している。
• OSRの結果はnear-OODの性能と整合する傾向があり、OSRとOOD検出の共通の課題を示唆している。
• OpenOODフレームワークは公正な比較を可能にし、単純で実用的な技術がかなりの改善を生み出すことを示している。