[論文レビュー] Causal Generative Neural Networks

Olivier Goudet, Diviyan Kalainathan+4 more|arXiv (Cornell University)|Nov 24, 2017

Bayesian Modeling and Causal Inference参考文献 36被引用数 23

ひとこと要約

本稿では、実データと生成データの間の最大平均差分（MMD）を最小化することで、観測データから関数的因果モデルを学習する微分可能で深い生成モデルである因果的生成ニューラルネットワーク（CGNN）を紹介する。CGNNは2変量および多変量の因果構造を同定でき、隠れ交絡要因に対しても対応可能であり、干渉のシミュレーションに使える包括的な生成モデルを生成する。実データおよび合成データを用いた原因・結果の推定、V構造の同定、多変量因果発見の分野で最先端の性能を達成した。

ABSTRACT

We present Causal Generative Neural Networks (CGNNs) to learn functional causal models from observational data. CGNNs leverage conditional independencies and distributional asymmetries to discover bivariate and multivariate causal structures. CGNNs make no assumption regarding the lack of confounders, and learn a differentiable generative model of the data by using backpropagation. Extensive experiments show their good performances comparatively to the state of the art in observational causal discovery on both simulated and real data, with respect to cause-effect inference, v-structure identification, and multivariate causal discovery.

研究の動機と目的

• 微分可能でエンドツーエンドで学習可能なフレームワークを構築し、深層生成モデリングと因果構造学習を統合する。
• 加法的ノイズや線形性を仮定せずに、観測データから2変量および多変量の因果構造（V構造や交絡関係を含む）を同定できるようにする。
• 干渉推定を可能にする包括的な結合分布の生成モデルを生成する。これは、多くの先行研究とは異なり、因果グラフのみを出力するものではない。
• スケルトンの誤りや隠れ交絡要因に対するロバストネスを向上させ、制約ベース法やペアワイズ法がしばしば直面する問題を軽減する。
• スケーラブルでディープラーニングと互換性がある手法を提供し、干渉分布のシミュレーションを要する下流の応用を支援する。

提案手法

• CGNNは、観測データ分布と生成データ分布の間の最大平均差分（MMD）を最小化するようにバックプロパゲーションにより訓練される深層生成ネットワークを用いて結合分布をモデル化する。
• アーキテクチャは関数的因果モデル（FCM）に基づいており、各変数はその親と独立なノイズ変数から生成され、因果グラフの構造はネットワークの接続性に埋め込まれている。
• 統一的な微分可能フレームワーク内で、分布の非対称性（原因・結果ペアの同定）と条件付き独立性（V構造およびスケルトンの同定）の両方を活用する。
• ガウスカーネルを用いたMMDに基づく微分可能損失関数を採用し、勾配ベースの最適化とエンドツーエンド学習を可能にする。
• 観測データ分布の再構築と同時に、因果グラフの学習が行われ、学習された生成プロセスによりエッジに信頼性スコアが付与される。
• サンプリング中に変数を特定の値に固定することで干渉を実行可能であり、do計算論的干渉のシミュレーションが可能になる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習可能で微分可能かつスケーラブルなフレームワークとして、観測データから因果構造を学習できる深層生成モデルを構築できるか？
• RQ2 隠れ交絡要因が存在する状況において、ニューラルネットワークベースのアプローチが分布の非対称性と条件付き独立性の両方を効果的に活用できるか？
• RQ3 CGNNは、合成データおよび実世界のデータを用いた原因・結果の推定、V構造の同定、多変量因果発見において、最先端の手法を上回る性能を示せるか？
• RQ4 CGNNの微分可能性がディープラーニングパイプラインへの統合をどの程度可能にし、干渉シミュレーションを支援できるか？
• RQ5 既存のアルゴリズムと比較して、スケルトンの誤りや未観測の交絡要因の存在に対して、CGNNはどの程度ロバストか？

主な発見

• CGNNは隠れ交絡要因を伴う因果発見においてAUPRC 0.71* (0.13)を達成し、RFCI-HSIC (0.41) や Jarfo (0.54) より顕著に優れており、AUPRCおよびSHDの両面でp < 0.01の有意差を示した。
• 100変数を含む合成データでは、4台のNVIDIA 1080Ti GPUを用いて30時間でAUPRC 85.5 ± 4.0を達成し、スケーラビリティを示した。
• Sachsのたんぱく質ネットワークデータセットでは、raf → mek → erkのシグナル伝達経路を正しく回復し、正しい向きのエッジには高い信頼性スコア、誤った向きには低いスコアを示した。
• CGNNはスケルトンにおける誤ったエッジに対してロバストで、PC-HSICなどの制約ベース法よりも優れた性能を示した。これは、分布の非対称性と条件付き独立性をハイブリッドに活用しているためである。
• Jarfo や PC-HSIC が因果グラフのみを出力するのに対し、CGNNは包括的な生成モデルを生成し、干渉のシミュレーションを可能にした。
• CGNNは交絡要因によって生じる誤ったエッジを効果的に除去し、未観測の共通原因に起因する誤ったエッジに対しては低い信頼性スコアを付与した一方で、真の因果エッジは高い信頼性を維持した。