[論文レビュー] Nonlinear Invariant Risk Minimization: A Causal Approach

Chaochao Lu, Yuhuai Wu+2 more|arXiv (Cornell University)|Feb 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 96被引用数 26

ひとこと要約

iCaRLを導入する。これは一般的な指数族事前分布の下で潜在的原因を識別的に学習し、分布外（OOD）一般化を可能にする非線形な不変リスク最小化フレームワークである。

ABSTRACT

Due to spurious correlations, machine learning systems often fail to generalize to environments whose distributions differ from the ones used at training time. Prior work addressing this, either explicitly or implicitly, attempted to find a data representation that has an invariant relationship with the target. This is done by leveraging a diverse set of training environments to reduce the effect of spurious features and build an invariant predictor. However, these methods have generalization guarantees only when both data representation and classifiers come from a linear model class. We propose invariant Causal Representation Learning (iCaRL), an approach that enables out-of-distribution (OOD) generalization in the nonlinear setting (i.e., nonlinear representations and nonlinear classifiers). It builds upon a practical and general assumption: the prior over the data representation (i.e., a set of latent variables encoding the data) given the target and the environment belongs to general exponential family distributions. Based on this, we show that it is possible to identify the data representation up to simple transformations. We also prove that all direct causes of the target can be fully discovered, which further enables us to obtain generalization guarantees in the nonlinear setting. Extensive experiments on both synthetic and real-world datasets show that our approach outperforms a variety of baseline methods. Finally, in the discussion, we further explore the aforementioned assumption and propose a more general hypothesis, called the Agnostic Hypothesis: there exist a set of hidden causal factors affecting both inputs and outcomes. The Agnostic Hypothesis can provide a unifying view of machine learning. More importantly, it can inspire a new direction to explore a general theory for identifying hidden causal factors, which is key to enabling the OOD generalization guarantees.

研究の動機と目的

• 環境間の分布シフトと偽相関に対する頑健性を動機づける。
• 識別性とOOD保証を達成する一般的な非線形フレームワーク（iCaRL）を提案する。
• 潜在要因間の依存性を捉えるため、iVAEを一般的な指数族事前分布に拡張する。
• ターゲットの直接原因を同定し、それらから不変な予測子を学習する。
• 学習パラダイムを横断する表現学習の統一的視点としてアグノスティック仮説を議論する。

提案手法

• ニューラルネットワークベースの依存性（T_NN）を含む、因子分解されない一般的な潜在事前分布へ iVAE を拡張し、潜在依存性を捉える。
• Phase 1: データ (O, Y, E) で NF-iVAE を訓練し、事前分布パラメータのスコアマッチングを用いて潜在 X を置換/変換まで識別する。
• Phase 2: 潜在 X に対して対の独立性検定および条件付き独立性検定を行い、ターゲットの直接原因 Pa(Y) を発見する。
• Phase 3: Pa(Y) を特徴として環境全体でリスクを最小化することで不変な予測子を学習し、新しい環境で O から Pa(Y) を最大事後確率様の最適化（式 (Equation 12)）で推定する。
• 理論的結果は X の単純な変換までの識別性（定理 1–3）と OOD一般化保証（命題 1）を示す。
• このフレームワークは、識別性と一般化を可能にする前提として、Assumptions 1（因果グラフと不変性）と Assumptions 2（一般的な指数族事前分布）に依存する。

実験結果

リサーチクエスチョン

• RQ1 柔軟な潜在事前分布の下で、非線形データ表現と分類器は環境を超えて不変な予測子を生み出せるか。
• RQ2 Assumption 1 および 2 の下で、ターゲットの潜在原因を識別可能に回復し、OOD一般化を保証できるか。
• RQ3 iVAE を一般的な指数族事前分布へ拡張することで、因子分解された事前分布を超えた識別性を実現できるか。
• RQ4 独立性検定を通じて推定された潜在変数からターゲットの直接原因を信頼性高く発見できるか。
• RQ5 発見された原因から予測子を学習すると、未知の環境で堅牢な性能を発揮しますか。

主な発見

• iCaRL は一般的な指数族事前分布の下で、潜在変数 X の識別性を置換と単純変換まで提供する。
• ターゲットの直接原因 Pa(Y) は、識別された潜在変数から独立性検定を用いて完全に発見できる。
• Pa(Y) から不変予測子を学習することで、すべての環境に一般化し、非線形設定でのOOD保証を提供する。
• NF-iVAE は、O, Y, E から X を識別的に推定し、下流の因果発見と不変予測を可能にする。
• アグノスティック仮説は、監視付き、教師なし、および強化学習の文脈を横断する表現学習の統一的視点として提案される。