[論文レビュー] Practical Evaluation of Out-of-Distribution Detection Methods for Image Classification

Engkarat Techapanurak, Takayuki Okatani|arXiv (Cornell University)|Jan 7, 2021

Anomaly Detection Techniques and Applications参考文献 38被引用数 4

ひとこと要約

本稿は、多様なデータセットとタスクを用いて、不要入力検出、未知クラス検出、ドメインシフト検出の3つの実用的シナリオにおいて、分布外（OOD）検出手法を評価する。手法の性能はシナリオやデータ分布によって顕著に異なることが示され、コサイン類似度は一貫して効果的であり、マハラノビス検出器は不要入力検出に限定的である一方、MCドロップアウトを含む信頼度ベース手法はドメインシフト検出で優れた性能を示す。

ABSTRACT

We reconsider the evaluation of OOD detection methods for image recognition. Although many studies have been conducted so far to build better OOD detection methods, most of them follow Hendrycks and Gimpel's work for the method of experimental evaluation. While the unified evaluation method is necessary for a fair comparison, there is a question of if its choice of tasks and datasets reflect real-world applications and if the evaluation results can generalize to other OOD detection application scenarios. In this paper, we experimentally evaluate the performance of representative OOD detection methods for three scenarios, i.e., irrelevant input detection, novel class detection, and domain shift detection, on various datasets and classification tasks. The results show that differences in scenarios and datasets alter the relative performance among the methods. Our results can also be used as a guide for practitioners for the selection of OOD detection methods.

研究の動機と目的

• 標準的な Hendrycks & Gimpel ベンチマークを超えたOOD検出手法の評価のギャップを埋めるため、実世界の展開シナリオを反映しない可能性がある。
• 不要入力検出、未知クラス検出、ドメインシフト検出の3つの明確に異なる実用的応用シナリオにおいて、代表的なOOD検出手法の性能を評価すること。
• ドメインシフト検出にOOD検出手法を適用するメタアプローチを提案・検証すること。これは深層学習分野でこれまであまり検討されていなかったシナリオである。
• 異なるデータ分布とタスク設定における手法の有効性に関する実証的証拠を提供し、実世界のシステムにおけるモデル選定の実用的指針を提示すること。

提案手法

• 本研究は、信頼度ベースのベースライン、MCドロップアウト、ODIN、コサイン類似度、マハラノビス検出器の6つのOOD検出手法を評価する。これらはすべて、トレーニング時に明示的なOODサンプルを必要としないように調整されている。
• ドメインシフト検出の文脈では、分布シフト下での分類精度の低下を検出するために、OOD検出手法を用いるメタアプローチを適用している。
• 評価は複数のデータセットと分類タスクを対象として実施され、AUROC や FPR95 といった標準的なOOD検出指標を用いて性能を測定している。
• マハラノビス検出器は、ハイパーパramータチューニング時にOODサンプルを必要としないバージョンを用いており、他の手法との公平な比較を確保している。
• コサイン類似度手法は、ネットワークの最終層を変更して特徴埋め込みとクラスプロトタイプ間の類似度を計算する形で適用されている。
• 信頼度ベースおよびMCドロップアウト手法は、事前学習済みモデルに適用されており、ドメインシフト検出の文脈で不確実性推定機能を活用している。

実験結果

リサーチクエスチョン

• RQ1 OOD検出手法は、不要入力検出、未知クラス検出、ドメインシフト検出といった異なる実世界の応用シナリオにおいて、どのように性能を発揮するか？
• RQ2 データセットの選択や分布シフトの程度が、OOD検出手法の相対的性能にどの程度影響を与えるか？
• RQ3 既存のOOD検出手法は、分布シフトの検出ではなく、性能低下の検出を目的とするドメインシフト検出に効果的に再利用可能か？
• RQ4 どのOOD検出手法が、多様なシナリオとデータセットにおいて、最も頑健かつ汎用的な性能を示すか？
• RQ5 なぜ一部の手法（例：マハラノビス検出器）は一部のシナリオでは優れた性能を示すが、他のシナリオ（特に未知クラス検出）では劣るのか？

主な発見

• コサイン類似度手法は、すべての3つのシナリオにおいて一貫して優れた性能を示し、ネットワークの変更が許容される場合には信頼できる最初の選択肢となる。
• マハラノビス検出器は、不要入力検出では最先端の性能を示すが、単一の共有共分散行列とガウス分布の仮定に依存するため、未知クラス検出では劣る性能を示す。
• 信頼度ベース手法、特にMCドロップアウトは、分布シフト下での予測信頼度の低下に敏感であるため、ドメインシフト検出で優れた性能を示す。
• ドメインシフト検出は、従来のOOD検出とは本質的に異なる。分布シフトの検出ではなく、精度の低下の検出を目的としており、不確実性に敏感な手法が好ましい。
• OOD検出手法の性能は、シナリオに強く依存する。したがって、すべてのシナリオで優れる単一の手法は存在せず、シナリオに応じた手法選定の必要性が強調される。
• ハイパーパramータチューニング時にOODサンプルを使用すると、テスト時のOODデータが異なる分布からの場合に一般化性能が低下する。これにより、このようなデータを必要としない手法の重要性が再確認される。