[論文レビュー] Weakly supervised causal representation learning

Johann Brehmer, Pim de Haan+2 more|arXiv (Cornell University)|Mar 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本稿では、未知のランダムな干渉の前後におけるペア観測データを用いて、ピクセルのような非構造化データから因果変数および構造を同定する弱教師付き因果表現学習を提案する。インプリシット潜在因果モデル（ILCMs）を導入し、明示的なグラフ構造を必要とせず、勾配ベースの最適化を可能にした。合成画像データセット、特にロボット操作環境を含むデータセットにおいて、正確な因果構造と分離可能な表現を実証した。

ABSTRACT

Learning high-level causal representations together with a causal model from unstructured low-level data such as pixels is impossible from observational data alone. We prove under mild assumptions that this representation is however identifiable in a weakly supervised setting. This involves a dataset with paired samples before and after random, unknown interventions, but no further labels. We then introduce implicit latent causal models, variational autoencoders that represent causal variables and causal structure without having to optimize an explicit discrete graph structure. On simple image data, including a novel dataset of simulated robotic manipulation, we demonstrate that such models can reliably identify the causal structure and disentangle causal variables.

研究の動機と目的

• 非構造化データ（ピクセルなど）から高次元の因果表現を完全教師なしで学習する課題に対処すること。
• ペアの前後干渉データを用いた弱教師付き設定下で、因果変数および構造的因果モデルの同定可能性を示すこと。
• 明示的なグラフ最適化の制限を回避する実用的でスケーラブルな因果表現学習手法を開発すること。
• 画像データ、特に新規のロボット操作データセットを含む環境において、堅牢な因果構造と分離可能な変数の同定を実証すること。
• 因果表現学習における「鶏と卵」問題を、変数同定とグラフ構造学習を分離することで克服すること。

提案手法

• 未知のランダムな完全干渉の前後を表すペアデータ $(x, \tilde{x})$ を用いた弱教師付き設定を導入する。
• 因果構造を明示的なDAGではなく、解関数 $s_i(e_i; e_{\setminus i})$ を通じて暗黙的に符号化するインプリシット潜在因果モデル（ILCMs）を提案する。
• 変分下界を用いて、表現、因果構造、干渉推論を同時に最適化する微分可能でエンドツーエンドの学習目的関数を採用する。
• 干渉エンコーダ $q(I|x,\tilde{x})$ を用いて、どの変数が干渉されたかを推論し、ラベルなしで自己教師学習を可能にする。
• 最適化の安定化のため、後段階の学習フェーズでのみトポロジカルオーダー制約を適用する。
• 連合最適化に失敗した場合、固定DAG上でのグラフ探索戦略を採用し、検証損失に基づいて最良の性能を示すグラフを選択する。

実験結果

リサーチクエスチョン

• RQ1 観測データに加えて未知のランダム干渉ペアが与えられた場合、因果変数および構造的因果モデルを一意に同定できるか？
• RQ2 明示的な離散的グラフ表現を必要とせず、微分可能でスケーラブルな方法で因果構造を表現・最適化できるか？
• RQ3 インプリシット潜在因果モデル（ILCMs）は、離散的グラフ最適化を伴う明示的モデルに比べ、より堅牢で安定した因果表現学習を達成できるか？
• RQ4 ILCMsはどれほど因果要因を分離可能にし、ピクセルレベルのデータから真の因果グラフを回復できるか？
• RQ5 明示的潜在因果モデル（ELCMs）の失敗モードは何か？また、損失関数の局所的最小値とどのように関連しているか？

主な発見

• 弱い仮定の下で理論的同定可能性が証明された：ペアの前後干渉データから、因果変数およびメカニズムは再ラベル化および要素ごとの再パrameter化を除き一意に特定可能である。
• 明示的潜在因果モデル（ELCMs）は初期化のランダム性に極めて敏感であり、一部のデータセットでは3回の実験のうち1回しか成功しなかった。
• ELCMsは局所的最小値のため頻繁に失敗し、真のグラフと同マルコフ同値クラスに属するが、因果方向が誤ったグラフを学習する傾向がある。
• インプリシット潜在因果モデル（ILCMs）は、ランダムシードに依存せず、安定的かつ堅牢な性能を示し、合成データセットで因果変数および構造を正しく同定した。
• ロボット操作データセット「CausalCircuit」において、ILCMsは真の因果グラフを正しく回復し、複数回の実験で高い分離スコア（DCI > 0.98）を達成した。
• ILCMsは分離性および構造的正確性の両面でELCMsを上回り、暗黙的で微分可能な因果構造表現の優位性を示した。