[論文レビュー] When Does Group Invariant Learning Survive Spurious Correlations?

Yimeng Chen, Ruibin Xiong+2 more|arXiv (Cornell University)|Jun 29, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文は、誤った相関の変化にさらされた際に一般化に失敗する既存の群不変学習（group-IL）手法の根本的な欠陥を特定し、不十分な群構築に起因することを明らかにする。本稿では、誤った特徴量に基づく層別化と、群ラベルの割合によるサンプル再重み付けを用いる、SCILLと呼ばれる新規手法を提案する。この手法により、誤った相関のない一般化が保証され、合成データおよび実世界のベンチマークにおいて既存手法を上回る性能を達成する。

ABSTRACT

By inferring latent groups in the training data, recent works introduce invariant learning to the case where environment annotations are unavailable. Typically, learning group invariance under a majority/minority split is empirically shown to be effective in improving out-of-distribution generalization on many datasets. However, theoretical guarantee for these methods on learning invariant mechanisms is lacking. In this paper, we reveal the insufficiency of existing group invariant learning methods in preventing classifiers from depending on spurious correlations in the training set. Specifically, we propose two criteria on judging such sufficiency. Theoretically and empirically, we show that existing methods can violate both criteria and thus fail in generalizing to spurious correlation shifts. Motivated by this, we design a new group invariant learning method, which constructs groups with statistical independence tests, and reweights samples by group label proportion to meet the criteria. Experiments on both synthetic and real data demonstrate that the new method significantly outperforms existing group invariant learning methods in generalizing to spurious correlation shifts.

研究の動機と目的

• 既存のgroup-IL手法が、実証的に成功しているにもかかわらず、誤った相関の変化下で一般化に失敗する理由を特定すること。
• group-ILが不変で誤った相関のない表現を学習するための、必要な仮定と理論的条件を形式化すること。
• 誤った相関に対して耐性を持つ理論的基準を満たす新しいgroup-IL手法の設計。
• 提案手法が、合成データおよび実世界のデータにおいて、既存のgroup-ILアプローチを上回ることを実証的に検証すること。

提案手法

• 誤った相関を符号化する参照予測子の層別化により群を構築し、統計的独立性検定を用いて各群内で誤った特徴量がラベルと条件付き独立であることを保証する。
• 各群内で、周辺確率と条件付き確率の比に基づいてサンプルを再重み付けし、群内のラベル分布をバランスさせる。
• 推定された群上で不変学習目的を用いてモデルを訓練し、群間での予測分散をペナルティ化することで不変性を促進する。
• 誤った特徴量のみで学習された参照モデルを用いて層を定義することで、群境界が誤った信号の有意義な変動を反映することを保証する。
• 群固有の重み付き交差エントロピーと、群間での不変性を強制するペナルティ項を組み合わせた損失関数を採用する。
• 理論的分析により、理想的な状況下で、偽物暴露基準とラベルバランス基準を満たすことで、誤った相関のない一般化（SFC）を達成できることを証明している。

実験結果

リサーチクエスチョン

• RQ1 既存のgroup-IL手法は、どのような条件下で誤った相関の変化下で一般化に失敗するのか？
• RQ2 group-ILが不変で誤った相関のない表現を成功裏に学習するためには、どのような理論的基準が必要か？
• RQ3 誤った相関の十分な露出とバランスの取れたラベル分布を確保するために、群の構築をどのように改善できるか？
• RQ4 誤った相関に対して耐性を持つ理論的基準を満たす新しいgroup-IL手法を設計できるか？
• RQ5 提案手法は、誤った相関の変化下でのOOD一般化において、既存のgroup-ILアプローチと比較してどのように優れているか？

主な発見

• 多数/少数分割を用いるような既存のgroup-IL手法は、誤った相関が多次元である場合に特に、偽物暴露基準とラベルバランス基準の両方を破る。
• 提案されたSCILL手法は、統計的独立性検定による群構築と、群ラベルの割合によるサンプル再重み付けにより、両理論的基準を満たす。
• 合成ベンチマークでは、特に多次元誤った相関の変化下で、既存のgroup-IL手法よりも顕著に高いOOD精度を達成する。
• 実世界のデータセットにおける実証的結果から、SCILLが誤った相関の変化に対してより良い一般化性能を示し、多様な分布シフトに対して安定した性能を発揮することが確認された。
• 理論的分析により、参照モデルが最適である場合、SCILLは誤った相関のない一般化（SFC）を達成できることを示し、耐性に関する保証を提供する。
• 参照モデルが不完全であっても、複数の実験設定で一貫した性能向上が示されたことから、本手法は実用的に有効である。