[論文レビュー] Distribution Shift Is Key to Learning Invariant Prediction

Hong Zheng, Fei Teng|arXiv (Cornell University)|Jan 18, 2026

Imbalanced Data Classification Techniques被引用数 0

ひとこと要約

論文は、学習ドメイン間の分布シフトが不変予測の学習を促進し得ると主張し、特定条件下ではERMが不変予測法と同等になり得ると述べる。シフトを有効とする理論的境界を提示し、シフトが不変学習を促進することを示し、合成データとCMNIST実験で検証する。

ABSTRACT

An interesting phenomenon arises: Empirical Risk Minimization (ERM) sometimes outperforms methods specifically designed for out-of-distribution tasks. This motivates an investigation into the reasons behind such behavior beyond algorithmic design. In this study, we find that one such reason lies in the distribution shift across training domains. A large degree of distribution shift can lead to better performance even under ERM. Specifically, we derive several theoretical and empirical findings demonstrating that distribution shift plays a crucial role in model learning and benefits learning invariant prediction. Firstly, the proposed upper bounds indicate that the degree of distribution shift directly affects the prediction ability of the learned models. If it is large, the models' ability can increase, approximating invariant prediction models that make stable predictions under arbitrary known or unseen domains; and vice versa. We also prove that, under certain data conditions, ERM solutions can achieve performance comparable to that of invariant prediction models. Secondly, the empirical validation results demonstrated that the predictions of learned models approximate those of Oracle or Optimal models, provided that the degree of distribution shift in the training data increases.

研究の動機と目的

• 分布シフトがERMと不変予測設定の下で学習を改善できる理由を動機づける。
• 分布シフトと不変予測性能との理論的関係を確立する。
• 因果関係に関連するデータ仮定の下でERMが不変予 Predictorを近似できることを示す。
• 合成データとCMNISTベンチマークを用いて分布シフトの役割を経験的に検証する。

提案手法

• マルチ環境データにおける分布シフトと不変予測の定義を形式化する。
• Assumptions 2–5 の下でERM解と不変予測との関係を示す命題・定理を証明する。
• KL発散（シフト）が学習性と一般化に及ぼす影響を示す上界を導出する。
• シフトの大きさと不変予測子への近接とのコロラリを提供する。

実験結果

リサーチクエスチョン

• RQ1 訓練ドメイン間の分布シフトの程度は、不変予測を学習する能力にどのように影響するか。
• RQ2 どのデータ条件下でERMは不変予測モデルと同等の性能を達成できるか。
• RQ3 マルチドメイン設定における学習への分布シフトの影響を定量化する理論的保証は何か。
• RQ4 合成データとCMNISTの経験結果は、より大きなシフトが学習モデルを不変予測子と一致させるという理論を支持しているか。

主な発見

Dataset	Algorithm	e0.1	e0.5	e0.9	Mean
D1 (CMNIST風回帰)	ERM	76.3±2.1	66.3±1.6	49.5±0.9	64.0±1.5
D1 (CMNIST風回帰)	IRM_Ω	58.3±5.6	55.6±2.7	50.1±4.9	54.7±4.4
D1 (CMNIST風回帰)	IRM	63.8±5.2	65.0±1.5	57.4±4.8	62.1±3.8
D1 (CMNIST風回帰)	PIRM_Ω	59.6±4.6	53.3±2.8	44.9±2.8	52.6±3.4
D1 (CMNIST風回帰)	PIRM	65.3±4.3	66.1±2.5	58.5±4.2	63.3±3.6
D1 (CMNIST風回帰)	ERM++	75.8±1.3	67.2±1.6	49.3±1.7	64.1±1.5
D1 (CMNIST風回帰)	FISH	74.6±0.5	65.2±1.8	47.9±0.4	62.6±0.9
D1 (CMNIST風回帰)	RDM	70.6±4.1	66.5±6.1	54.6±3.5	63.9±4.6
D1 (CMNIST風回帰)	VREx	74.7±1.4	67.0±1.3	49.4±2.2	63.7±1.7
D1 (CMNIST風回帰)	EQRM	74.3±1.0	66.6±1.2	48.3±0.7	63.1±1.0
D1 (CMNIST風回帰)	Oracle	64.6±1.6	66.2±1.4	64.5±1.3	65.1±1.4
D1 (CMNIST風回帰)	Optimal	75.0±0.0	75.0±0.0	75.0±0.0	75.0±0.0
D2 (CMNIST風分類)	ERM	83.6±0.8	79.2±1.2	28.3±1.6	63.7±1.2
D2 (CMNIST風分類)	IRM_Ω	58.2±7.0	57.0±6.6	42.8±8.5	52.7±7.4
D2 (CMNIST風分類)	IRM	85.2±1.1	82.1±1.2	15.2±2.6	60.8±1.6
D2 (CMNIST風分類)	PIRM_Ω	64.9±3.8	64.0±3.9	32.2±5.0	53.7±4.2
D2 (CMNIST風分類)	PIRM	83.7±3.3	79.7±3.6	18.4±4.9	60.6±3.9
D2 (CMNIST風分類)	ERM++	84.9±1.4	78.6±1.1	27.3±1.3	63.6±1.3
D2 (CMNIST風分類)	FISH	84.6±0.8	79.9±1.3	26.3±1.0	63.6±1.1
D2 (CMNIST風分類)	RDM	81.5±2.7	78.2±2.0	33.1±6.3	64.2±4.0
D2 (CMNIST風分類)	VREx	83.1±1.1	80.8±0.5	28.0±2.5	64.0±1.4
D2 (CMNIST風分類)	EQRM	84.1±1.3	78.9±2.5	27.8±2.7	63.6±2.2
D2 (CMNIST風分類)	Oracle	64.6±1.6	66.2±1.4	64.5±1.3	65.1±1.4
D2 (CMNIST風分類)	Optimal	75.0±0.0	75.0±0.0	75.0±0.0	75.0±0.0

• 大きな分布シフトはERMの性能を向上させ、学習モデルを不変予測子へと近づける。
• 因果メカニズムがドメイン間で不変であれば、十分なシフトの下でERM解は不変予測子を近似できる。
• 理論的境界は、ドメイン分布間のKL発散が環境間の学習と一般化を支配することを示す。
• 訓練ドメインのシフトが大きいほど、予測モデルの出力がOracle/Optimalモデルと一致することを経験的に示す。
• CMNIST実験は、分布シフトとドメイン間の予測性能の線形相関を示している。