[論文レビュー] The Risks of Invariant Risk Minimization

Elan Rosenfeld, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Oct 12, 2020

Adversarial Robustness in Machine Learning参考文献 43被引用数 73

ひとこと要約

この論文は Invariant Risk Minimization (IRM) とその非線形バリアントを分析し、IRM が線形・非線形設定のいずれにおいても ERM を上回らない場合があり、特に限られた環境では非不変特徴に依存する可能性があることを示す。

ABSTRACT

Invariant Causal Prediction (Peters et al., 2016) is a technique for out-of-distribution generalization which assumes that some aspects of the data distribution vary across the training set but that the underlying causal mechanisms remain constant. Recently, Arjovsky et al. (2019) proposed Invariant Risk Minimization (IRM), an objective based on this idea for learning deep, invariant features of data which are a complex function of latent variables; many alternatives have subsequently been suggested. However, formal guarantees for all of these works are severely lacking. In this paper, we present the first analysis of classification under the IRM objective--as well as these recently proposed alternatives--under a fairly natural and general model. In the linear case, we show simple conditions under which the optimal solution succeeds or, more often, fails to recover the optimal invariant predictor. We furthermore present the very first results in the non-linear regime: we demonstrate that IRM can fail catastrophically unless the test data are sufficiently similar to the training distribution--this is precisely the issue that it was intended to solve. Thus, in this setting we find that IRM and its alternatives fundamentally do not improve over standard Empirical Risk Minimization.

研究の動機と目的

• 不変な因果機構を活用して分布外一般化を達成する手段として、不変予測フレームワークを動機づけ、形式化する。
• 自然な SEMベースのモデルにおける IRM の厳密な分析を提供し、それが成功する場合と失敗する場合を決定する。
• IRM は ERM と同等以下になる可能性があり、場合によっては非不変特徴に依存して一般化性能が低下することを示す。

提案手法

• 複数の環境にわたる不変特徴 z_c と環境的（非不変）特徴 z_e を持つ構造方程式モデルを定義する。
• 環境を横断して不変で、不変特徴のみを用いる最適な不変予測子を形式化する。
• 線形設定における IRM 目的関数（階層型およびペナルティ形）を分析し、環境数 E および環境次元 d_e に基づく最適な不変性の必要十分条件を確立する。
• 非線形領域へ拡張し、トレーニング環境が非不変変異の空間を十分にカバーしない限り、IRM が ERM に似た挙動へ退化することを示す。
• IRM の代替手法が同様の制限を受けることを示す系説を提示する。

実験結果

リサーチクエスチョン

• RQ1 線形領域で IRM が最適な不変予測子を回復する条件は何か？
• RQ2 分布シフト下で IRM およびその非線形バリアントは標準的な ERM や DRO を上回ることができるか？
• RQ3 トレーニング環境の数が環境特徴に対して小さい場合（E ≤ d_e）に何が起こるか？
• RQ4 環境が非不変変異の空間をカバーしない場合、非線形設定での IRM の性能はどうなるか？
• RQ5 IRM の代替手法は IRM と同じ根本的な欠点を被るか？

主な発見

• 線形の場合、E > d_e なら、IRM 解は不変特徴のみを用いる不変予測子を回復する。
• E ≤ d_e の場合、環境特徴を用いる線形予測子が最適な不変予測子より訓練リスクを低くする。
• 非線形領域では、トレーニング環境が非不変特徴の空間を概ねカバーしない限り IRM は著しく失敗し、ERM や DRO に似た挙動を取る可能性がある。
• 環境特徴を用いる実行可能な予測子が訓練環境で最適な不変予測子より低いリスクを達成する事例があり、不変性による一般化に失敗していることを示す。
• 系説は、提案された多くの IRM の代替手法が線形および非線形の双方で IRM と同じ根本的な欠点を抱えることを示している。