[論文レビュー] Causal Discovery with Cascade Nonlinear Additive Noise Models

Ruichu Cai, Jie Qiao+3 more|arXiv (Cornell University)|May 23, 2019

Bayesian Modeling and Causal Inference参考文献 16被引用数 10

ひとこと要約

本稿では、中間変数が測定されていない非線形な因果関係において因果方向を同定するための、段階的非線形加法的ノイズモデル（CANM）を提案する。各直接的因果的リンクを非線形加法的ノイズ過程としてモデル化し、変分オートエンコーダを用いて未観測の中間変数を推定することで、標準的なANMが非線形モデルの非推移性のため失敗する状況でも、因果方向の同定性を回復する。

ABSTRACT

Identification of causal direction between a causal-effect pair from observed data has recently attracted much attention. Various methods based on functional causal models have been proposed to solve this problem, by assuming the causal process satisfies some (structural) constraints and showing that the reverse direction violates such constraints. The nonlinear additive noise model has been demonstrated to be effective for this purpose, but the model class is not transitive--even if each direct causal relation follows this model, indirect causal influences, which result from omitted intermediate causal variables and are frequently encountered in practice, do not necessarily follow the model constraints; as a consequence, the nonlinear additive noise model may fail to correctly discover causal direction. In this work, we propose a cascade nonlinear additive noise model to represent such causal influences--each direct causal relation follows the nonlinear additive noise model but we observe only the initial cause and final effect. We further propose a method to estimate the model, including the unmeasured intermediate variables, from data, under the variational auto-encoder framework. Our theoretical results show that with our model, causal direction is identifiable under suitable technical conditions on the data generation process. Simulation results illustrate the power of the proposed method in identifying indirect causal relations across various settings, and experimental results on real data suggest that the proposed model and method greatly extend the applicability of causal discovery based on functional causal models in nonlinear cases.

研究の動機と目的

• 中間変数が未測定であり、非線形モデルの非推移性のため標準的な非線形加法的ノイズモデル（ANM）が因果方向の同定に失敗する状況を扱う。
• このようなモデルの非推移性にもかかわらず、段階的で非線形的かつ加法的ノイズ過程において因果の同定性を保持するモデルを開発する。
• 深層生成フレームワークを用いて、観測データから因果構造および未測定の中間変数を推定する。
• 提案されたCANMフレームワーク下でも、ノイズと原因の独立性が因果方向の同定に有効であるという基準が成立することを示す。

提案手法

• 各直接的因果的リンクが非線形加法的ノイズ構造に従う段階的非線形加法的ノイズモデル（CANM）を提案：$ Z_{i+1} = f_i(Z_i) + N_i $、ここで $ N_i $ は $ Z_i $ と独立。
• 観測データから未測定の中間変数とモデルパラメータを同時に推定するために、変分オートエンコーダ（VAE）フレームワークを用いる。
• 因果の非対称性を評価するために尤度ベースのスコアリングを採用し、尤度が低い方が正しい因果方向を示す。
• 観測データに対して変分下界（ELBO）を最大化することで、潜在的因果構造および中間変数を学習する。
• 関数 $ f_i $ に構造的制約を課すことで、一般的な条件下での同定性を保証する。
• 因果方向を、尤度スコア $ ilde{ ho}_{X o Y} $ と $ ilde{ ho}_{Y o X} $ を比較し、より低いスコアの方向を採用することで検証する。

実験結果

リサーチクエスチョン

• RQ1 中間変数が未測定であり、標準的なANMが非線形モデルの非推移性のため失敗する状況において、因果方向を信頼性高く同定できるか？
• RQ2 提案されたCANMモデルは、ノイズと原因の独立性条件を満たすが、複数の未測定の中間変数を含む場合でも因果方向の同定性を保持するか？
• RQ3 VAEのような深層生成モデルは、観測データから未測定の中間因果変数を効果的に回復し、因果構造を推定できるか？
• RQ4 実世界および合成データセットにおいて、標準的なANMと比較して、本手法の因果方向同定の正確性はどのように異なるか？

主な発見

• 提案されたCANM手法は、未測定の中間変数を伴う合成データにおいて、非線形モデルの非推移性のため標準ANMが失敗する状況でも、正しい因果方向を的確に同定できた。
• エネルギー消費データセットでは、CANMが $ ext{時刻} \to \text{電力需要} $ を正しく同定し、$ ilde{ ho}_{X\to Y} = -2.62 $ を得た。一方、ANMは両方向でp値 = 0となり因果方向を同定できなかった。
• エネルギー消費データセットにおける推定された中間変数は、実際の外気温と高い相関（ρ = -0.35）を示しており、意味のある因果的中間変数の回復に成功していることが示された。
• 株式市場データセットでは、CANMが $ ext{Hutchison} \to \text{Sun Hung Kai} $ を同定し、$ ilde{ ho}_{X\to Y} = -2.49 $ を得た。ANMは因果方向を同定できず、p値 = 0.006 < 0.05であった。
• 株式市場データにおける適合された中間変数は、実際のCheung Kong株式のリターンと強く相関（ρ = -0.54）を示しており、モデルが意味のある潜在的因果変数を効果的に回復できることを裏付けた。
• 理論的分析により、適切な条件下ではCANMフレームワーク下でも、ノイズと原因の独立性が因果方向同定の有効な基準のまま維持されることを確認した。