[論文レビュー] Meta-Learned Invariant Risk Minimization

Jun-Hyun Bae, Inchul Choi+1 more|arXiv (Cornell University)|Mar 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 4

ひとこと要約

この論文では、線形分類器の仮定をせず、モデルに依存しないメタラーニング（MAML）を用いて、直接的に理想の二段階最適化による不変リスク最小化（IRM）目的関数を最適化するメタラーニング手法、Meta-IRMを提案する。各環境をタスクとして扱い、内側のループと外側のループを分離することで不変性を強制することで、データが乏しい場合や誤った相関が豊富な場合でも、分布外（OOD）一般化性能が著しく向上し、線形および非線形の両設定でIRMv1およびすべての変種を上回る。

ABSTRACT

Empirical Risk Minimization (ERM) based machine learning algorithms have suffered from weak generalization performance on data obtained from out-of-distribution (OOD). To address this problem, Invariant Risk Minimization (IRM) objective was suggested to find invariant optimal predictor which is less affected by the changes in data distribution. However, even with such progress, IRMv1, the practical formulation of IRM, still shows performance degradation when there are not enough training data, and even fails to generalize to OOD, if the number of spurious correlations is larger than the number of environments. In this paper, to address such problems, we propose a novel meta-learning based approach for IRM. In this method, we do not assume the linearity of classifier for the ease of optimization, and solve ideal bi-level IRM objective with Model-Agnostic Meta-Learning (MAML) framework. Our method is more robust to the data with spurious correlations and can provide an invariant optimal classifier even when data from each distribution are scarce. In experiments, we demonstrate that our algorithm not only has better OOD generalization performance than IRMv1 and all IRM variants, but also addresses the weakness of IRMv1 with improved stability.

研究の動機と目的

• 学習データに誤った相関が含まれる場合、経験的リスク最小化（ERM）のOOD一般化性能の低さを是正すること。
• 環境数が誤った相関数より少ない場合、または各環境の学習データが乏しい場合に失敗するIRMv1の制限を克服すること。
• 線形仮定を簡略化せずに、理想の二段階IRM目的関数を直接最適化することで、より強固で安定した不変予測子を学習する方法を開発すること。
• 分類器の線形制約を解除することで、非線形設定でも有効なOOD一般化を可能にすること。
• メタ損失の分散に対する補助正則化と二階微分勾配更新を用いて、最適化の安定性と性能を向上させること。

提案手法

• 各学習環境をメタラーニングにおける別個のタスクとして扱い、理想のIRM目的関数を二段階最適化問題として定式化する。
• 内側のループ（タスク固有の適応）と外側のループ（メタ更新）に分離された環境を用いて、モデルに依存しないメタラーニング（MAML）を適用し、二段階問題を解く。
• IRMv1が採用する線形分類器の仮定を緩和し、非線形モデルを許容することで、より良い表現学習と一般化を可能にする。
• すべての環境におけるメタ損失の標準偏差を最小化する補助損失を導入し、不変性を強化し、訓練の安定性を向上させる。
• 真の二段階最適化をよりよく近似するために、メタ更新に二階微分勾配を用いることで、収束性と性能を向上させる。
• テストデータの分布シフトが著しくても、分類器が多様な環境で一貫した性能を発揮するように最適化することで、不変性を確保する。

実験結果

リサーチクエスチョン

• RQ1 線形分類器の仮定をせず、理想の二段階IRM目的関数を効果的に最適化できるメタラーニングフレームワークは存在するか？
• RQ2 提案されたメタ-IRM手法は、データが乏しいか誤った相関が豊富な状況において、IRMv1およびその変種を上回るOOD一般化性能を達成するか？
• RQ3 二階微分勾配と分離された環境サンプリングは、安定的で不変な予測子を達成するためにどれほど重要か？
• RQ4 メタ損失の分散に基づく補助損失は、モデルの頑健性と性能をどの程度向上させるか？
• RQ5 IRMv1がその制限的な線形仮定により失敗する非線形設定でも、メタ-IRMは効果的に一般化できるか？

主な発見

• Meta-IRMは、IRMv1およびすべてのIRM変種よりも顕著に優れたOOD一般化性能を達成し、p_e = 0.9かつp_e2 = 0.9のテスト環境では54.5%のテスト精度を示したのに対し、IRMv1は13.4%にとどまった。
• 色とパッチという2つの誤った特徴を有するColored MNISTタスクにおいて、Meta-IRMはすべてのテスト環境で一貫した性能（54.5% ± 4.0）を維持したが、IRMv1は最も分布外の設定では13.4%に崩壊した。
• アブレーションスタディの結果、標準偏差損失を削除するとOOD性能が低下（64.2% vs. 70.4% for meta-IRM）し、これが不変性学習の安定化に寄与していることが確認された。
• メタ更新に一次近似を用いると性能が劣化（59.1% vs. 70.4%）し、二階微分勾配が正確な二段階最適化に不可欠であることが示された。
• 内側と外側のループに同じ環境を使用すると、OOD一般化性能が著しく低下（13.6%の正確さ）し、不変性を達成するには環境の分離が不可欠であることが証明された。
• 真の因果特徴がノイズを含んでも、Meta-IRMは安定的で不変の予測を達成でき、元のIRM目的関数の制限を超えた頑健性を示した。