[論文レビュー] Interventional Causal Representation Learning

Kartik Ahuja, Divyat Mahajan+2 more|arXiv (Cornell University)|Sep 24, 2022

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿は、分布的仮定を強く必要としないように、介入データを活用して潜在的因果要因を正当に同定する、新しい枠組みを提案する。介入によって引き起こされる潜在的サポートの幾何的特徴を活用することで、完全なdo-介入のもとでは、置換およびスケーリングを除き正確に同定可能であり、不完全な介入ではブロックアフィン同定が達成される。これは、観測データの制約を超えて、分解能の高い表現学習を著しく前進させる。

ABSTRACT

Causal representation learning seeks to extract high-level latent factors from low-level sensory data. Most existing methods rely on observational data and structural assumptions (e.g., conditional independence) to identify the latent factors. However, interventional data is prevalent across applications. Can interventional data facilitate causal representation learning? We explore this question in this paper. The key observation is that interventional data often carries geometric signatures of the latent factors' support (i.e. what values each latent can possibly take). For example, when the latent factors are causally connected, interventions can break the dependency between the intervened latents' support and their ancestors'. Leveraging this fact, we prove that the latent causal factors can be identified up to permutation and scaling given data from perfect $do$ interventions. Moreover, we can achieve block affine identification, namely the estimated latent factors are only entangled with a few other latents if we have access to data from imperfect interventions. These results highlight the unique power of interventional data in causal representation learning; they can enable provable identification of latent factors without any assumptions about their distributions or dependency structure.

研究の動機と目的

• 観測データのみでは、分布的・構造的曖昧性のため、因果的潜在要因の同定が不十分となる状況において、表現学習における因果的潜在要因を同定する課題に対処すること。
• ロボット工学、ゲノム研究、実験科学で一般的な介入データが、潜在的因果要因の正当な同定を可能にするかどうかを調査すること。
• 完全なdo-介入を用いて、置換およびスケーリングを除き潜在要因を同定する手法を開発すること。不完全な介入ではブロックアフィン同定を達成すること。
• 従来の独立成分分析（ICA）の結果を拡張し、観測データにおける独立したサポートが、潜在変数が従属であっても同定を可能にすることを示すこと。
• 合成データおよび画像ベースのデータに対して理論を実証的に検証し、介入データを用いることで分解能が向上することを示すこと。

提案手法

• 本手法は、介入によって誘発される潜在要因のサポートにおける幾何的特徴を活用する：完全なdo-介入では、介入された潜在変数のサポートがその先祖と独立になる。
• 完全なdo-介入の下では、多項式または一般写像を用いて、介入された潜在変数がシフトおよびスケーリングを除き同定可能であることを理論的に証明する。
• 不完全な介入の下では、介入が介入された潜在変数のサポートをその先祖と独立にすると仮定すれば、ブロックアフィン同定が達成可能である。これは完全な介入を特別な場合として一般化する。
• 本手法は二段階のオートエンコーダを用いる：第一段階では、深層エンコーダが観測データから高次元表現を学習する。第二段階では、介入データを用いて、介入された潜在変数からそのサポートへの線形写像（γi）を推定する。
• 画像データにはResNet-18をバックボーンとして用い、デコンボリューションデコーダを適用し、介入データ上で訓練されたMLP回帰器を用いてγi写像を推定する。
• ハイパーパrameterはAdamを用いて重み減衰と早期停止を併用して調整され、再構成誤差、R²、および平均相関係数（MCC）を用いて同定品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 分布的仮定を強く必要としない条件下で、介入データが表現学習における潜在的因果要因の正当な同定を可能にするか？
• RQ2 どのような幾何的特徴が介入データの特徴として利用可能であり、観測データの特徴とどのように異なるか？
• RQ3 介入の構造（完全 vs. 不完全）が潜在要因の同定可能性に与える影響は何か？
• RQ4 観測データにおける潜在変数のサポートが独立している場合でさえ、潜在変数が従属であっても同定が可能になるか？
• RQ5 各潜在次元に対する介入数を増やすことで、同定性能はどの程度向上するか？

主な発見

• 完全なdo-介入のもとでは、多項式写像を仮定しなくても、介入された潜在変数がシフトおよびスケーリングを除き同定可能であることを理論的に証明した。
• 同じ潜在次元に複数のdo-介入を加えることで、多項式でない写像に対しても近似的な同定が達成可能である。
• 不完全な介入の下では、介入が介入された潜在変数のサポートをその先祖と独立にすると仮定すれば、ブロックアフィン同定が達成可能であり、これは完全な介入を特別な場合として含む。
• 観測データにおける潜在変数のサポートが独立している場合、本手法は置換、シフト、スケーリングを除き同定可能である。これは従来のICAを従属する潜在変数へと拡張する。
• 実験的結果では、潜在変数の分布が一様な場合、同定のための平均相関係数（MCC）は介入数が増えるにつれて上昇し、1介入で33.18から5介入で88.30にまで上昇した。
• 再構成MSEは介入回数にかかわらず安定しており（例：一様分布で514.25 ± 61.8）、R²値も高い水準（0.78～0.91）を維持しており、高次元表現と真の潜在変数との間に強い線形関係があることが示された。