[論文レビュー] Invariant Risk Minimization

Martín Arjovsky, Léon Bottou+2 more|arXiv (Cornell University)|Jul 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 321

ひとこと要約

IRM は、複数の訓練環境に跨る不変な予測子を誘導するデータ表現の学習を提案し、安定した因果的信号と偽りの相関を分離することでOOD一般化を可能にする。

ABSTRACT

We introduce Invariant Risk Minimization (IRM), a learning paradigm to estimate invariant correlations across multiple training distributions. To achieve this goal, IRM learns a data representation such that the optimal classifier, on top of that data representation, matches for all training distributions. Through theory and experiments, we show how the invariances learned by IRM relate to the causal structures governing the data and enable out-of-distribution generalization.

研究の動機と目的

• 分布シフトと選択バイアスの下での一般化の問題を動機付け、形式化する。
• 環境を跨ぐ不変な予測子をサポートする表現を学習するパラダイムとしてIRMを導入する。
• 不変性・因果性・一般化を結ぶ理論的・アルゴリズム的基盤を提供する。
• 実用的な方法を示し、制限と今後の方向性について論じる。

提案手法

• 環境を定義し、環境を横断してリスクを最小化する表現と固定分類器を見つけるためのIRM目的を定義する。
• 不変性を促進する勾配ペナルティを用いた実践的緩和としてIRMv1を導入する。
• 安定しない行列の逆行を避けるため、正規方程式に基づく線形不変性ペナルティD_linを提案する。
• 線形の場合には固定スカラー分類器が不変性のモニタリングに十分であることを示し、非線形Phiへ拡張する。
• 構造方程式モデルと介入を通じてIRMを因果推論に結びつけ、未知の環境への転移条件を提供する。

実験結果

リサーチクエスチョン

• RQ1 複数の訓練環境を跨いで不変な予測子を学習するにはどうすればよいか。
• RQ2 訓練環境から学習された不変性が未知の環境へ転移する条件は何か。
• RQ3 表現学習における不変性を課すことのアルゴリズム的・理論的影響は何か。
• RQ4 IRMは因果性とどのように関連し、OOD一般化に何を意味するか。

主な発見

• IRMは、環境を跨いで不変な予測子を生み出す表現を学習する実用的な目的を定義する。
• IRMv1の定式化は、予測力を保ちながら不変性を強制するための勾配ペナルティを用いる。
• 最適性条件の侵害を不安定な逆計算なしに頑健に測定するため、線形不変性ペナルティD_linを提案する。
• 本研究はSEMと介入を介して不変性を因果性に結びつけ、不変性がOOD一般化を意味する条件を概説する。
• IRMは訓練環境を跨る不変性が、それらの環境を超えた一般化を可能にし、分布シフト下でも有効であることを示す。