[論文レビュー] On the Impact of Spurious Correlation for Out-of-distribution Detection

Yifei Ming, Hang Yin+1 more|arXiv (Cornell University)|Sep 12, 2021

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本論文は、分布外（OOD）検出を形式化し、不変（意味的に関連する）特徴と環境的（誤った相関を持つ）特徴を区別することで、トレーニングデータにおける誤った相関の増加がOOD検出性能を著しく劣化させることを明らかにした。特徴ベースの手法が非誤った相関OODに対してより効果的であることが示され、理論的に誤った相関を持つOOD入力が任意に高い信頼度を示す可能性があることを証明しており、環境的特徴に依存するモデルでは検出不能であることを示している。

ABSTRACT

Modern neural networks can assign high confidence to inputs drawn from outside the training distribution, posing threats to models in real-world deployments. While much research attention has been placed on designing new out-of-distribution (OOD) detection methods, the precise definition of OOD is often left in vagueness and falls short of the desired notion of OOD in reality. In this paper, we present a new formalization and model the data shifts by taking into account both the invariant and environmental (spurious) features. Under such formalization, we systematically investigate how spurious correlation in the training set impacts OOD detection. Our results suggest that the detection performance is severely worsened when the correlation between spurious features and labels is increased in the training set. We further show insights on detection methods that are more effective in reducing the impact of spurious correlation and provide theoretical analysis on why reliance on environmental features leads to high OOD detection error. Our work aims to facilitate a better understanding of OOD samples and their formalization, as well as the exploration of methods that enhance OOD detection.

研究の動機と目的

• 実世界の展開において、誤った相関を伴うデータシフトに関する明確なOODデータの定義が欠如している問題に対処すること。
• データ分布のシフトにおいて、不変特徴と環境的（誤った相関を持つ）特徴を明示的にモデル化することで、OOD検出を形式化すること。
• トレーニングデータにおける誤った相関の増加が、誤った相関OODおよび非誤った相関OOD両方の検出性能に与える影響を調査すること。
• 誤った相関に対してより頑健な検出手法を特定し、環境的特徴に依存することでOOD誤差が高くなる理由を理論的に解明すること。
• 標準ベンチマークを超えて、誤った相関OOD例を評価することでアルゴリズムの頑健性を検証するよう提言すること。

提案手法

• 意味的ラベルに関連する不変特徴と、誤った相関を持つ文脈依存的特徴に分ける、OOD検出の新しい形式化を提案する。
• OODの2種類を定義する：誤った相関OOD（環境的特徴を含むが不変特徴を含まない）と非誤った相関OOD（両方を含まない）。
• Waterbirdsデータセットと、性別バイアスを含むCelebAを事例として用い、トレーニングデータにおける誤った相関をモデル化する。
• 誤った相関のレベルを段階的に増加させながら、さまざまなOOD検出手法の性能を広範に比較する実験を実施する。
• 理論的分析を適用し、環境的特徴に依存するモデルが、誤った相関OOD入力に対して任意に高い信頼度を割り当てられることを証明する。これは、それらが分布内データと区別不能であることを意味する。
• 活性化ベースや表現ベースの特徴ベースOOD検出手法を評価し、スコアベースおよび生成モデルベースの手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングセットにおける環境的特徴とラベルの間の誤った相関を増加させると、OOD検出性能にどのような影響を与えるか？
• RQ2 異なるOOD検出手法は、誤った相関の悪影響をどの程度軽減できるか？
• RQ3 モデルがインダクティブバイアスを学習しても、誤った相関OOD入力の検出がなぜ特に困難なのか？
• RQ4 理論的分析により、任意に高い信頼度を持つOOD入力が存在することを説明できるか？
• RQ5 特徴ベース手法は、非誤った相関OODおよび誤った相関OOD両方の検出において、スコアベースや生成モデルベースの手法と比べてどのように異なるか？

主な発見

• トレーニングデータにおける誤った相関が、誤った相関OODおよび非誤った相関OOD両方のOOD検出性能を著しく劣化させ、誤った相関が増加するほど検出誤差が増大する。
• 特徴ベースOOD検出手法は、他の手法と比較して非誤った相関OODデータにおいてFPR95を最大46.73%まで低減し、より優れた頑健性を示している。
• 環境的（誤った相関）特徴に依存するモデルは、誤った相関OOD入力に対して任意に高い信頼度を割り当てることができ、標準のOOD評価プロトコルでは検出不能となる。
• 理論的分析により、任意に高い信頼度を持つ誤った相関OOD入力が存在することが証明され、非不変特徴に依存するモデルでは、それらが分布内データと区別不能であることが示された。
• 既存のベンチマークはしばしば非誤った相関OODに焦点を当てているが、誤った相関OODは深刻で未解明な課題であり、実世界でのモデルの信頼性を損なう要因である。
• 本研究は、現在のOOD検出評価スキームが不十分であることを明らかにした。特に、意味的に離れてはいるが文脈的に類似した入力（例：水の背景を持つ船）に対する検出をテストしていないため、評価が不十分である。