[論文レビュー] Structural Agnostic Modeling: Adversarial Learning of Causal Graphs

Diviyan Kalainathan, Olivier Goudet+3 more|arXiv (Cornell University)|Mar 13, 2018

Bayesian Modeling and Causal Inference参考文献 31被引用数 29

ひとこと要約

この論文は、敵対的訓練とニューラルネットワークを用いて、因果グラフと条件付き分布を同時に学習する、構造に依存しないモデリング（SAM）と呼ばれる新しい因果発見手法を提案する。条件付き独立性のテスト、分布の非対称性、スパarsityおよび非巡回性の正則化を組み合わせることで、合成データおよび実世界のデータセット（11タンパク質のシグナル伝達ネットワークを含む）において、最先端の性能を達成し、正確性と再現率の両面で既存手法を上回った。

ABSTRACT

A new causal discovery method, Structural Agnostic Modeling (SAM), is presented in this paper. Leveraging both conditional independencies and distributional asymmetries, SAM aims to find the underlying causal structure from observational data. The approach is based on a game between different players estimating each variable distribution conditionally to the others as a neural net, and an adversary aimed at discriminating the generated data against the original data. A learning criterion combining distribution estimation, sparsity and acyclicity constraints is used to enforce the optimization of the graph structure and parameters through stochastic gradient descent. SAM is extensively experimentally validated on synthetic and real data.

研究の動機と目的

• 関数的メカニズムやデータ分布に関する事前知識がなくても、観測データから潜在的な因果構造を同定する因果発見手法の開発。
• 因果グラフ同定の向上を目的として、条件付き独立関係と分布の非対称性を統合した統一的な学習フレームワークの統合。
• 敵対的訓練と正則化を用いて、因果構造学習の組み合わせ的複雑性を連続最適化問題に変換することで、その複雑性に対処。
• スパarsityおよび非巡回性の明示的制約を伴う、深層ニューラルネットワークを用いた、グラフ構造と条件付き分布のエンドツーエンド学習の実現。
• システム生物学や計量経済学などの実世界の応用に適した、強固でスケーラブルかつ汎用的な因果発見ツールの提供。

提案手法

• SAMは、各変数の親変数に対する条件付き分布をニューラルネットワークでモデル化し、観測データからマークフ・カーネルを学習する。
• 敵対的ディスクライマーは、実データと生成データを区別するように訓練され、生成器が現実的な条件付き分布を生成するよう促進する。
• 損失関数には、対数尤度推定、スパarsityのためのL1正則化、および隣接行列の指数関数のトレースに基づく微分可能な非巡回性ペナルティが組み込まれている。
• 全フレームワークは確率的勾配降下法により最適化され、因果グラフ構造と条件付き密度推定器のエンドツーエンド訓練が可能になる。
• f-GANフレームワークを活用することで、非線形設定において特に分布マッチングと一般化性能が向上する。
• 非巡回性制約を除去することで、SAMは循環的グラフにも適応可能となり、生物学的シグナル伝達ネットワークのようなフィードバック豊富なシステムへの応用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を用いた深層生成モデルは、条件付き独立性と分布の非対称性の両方を活用することで、観測データから因果構造を効果的に同定できるか？
• RQ2 スパarsityおよび非巡回性制約の統合は、非線形設定における因果グラフの同定可能性と一般化性能をどのように向上させるか？
• RQ3 SAMは、合成および実世界のデータセット、特に複雑で高次元なシステムにおいて、既存の因果発見手法をどの程度上回るか？
• RQ4 GANを用いた敵対的訓練は、因果構造学習において、標準的な二乗平均誤差最小化に比べて、どのような状況で優れた性能を発揮するか？
• RQ5 生物的シグナル伝達ネットワークのような、循環的またはフィードバック駆動のシステムに、非巡回性を強制しない状態でSAMを効果的に適用できるか？

主な発見

• SAMは、約1,500変数を有するDREAM5 in silico ネットワークにおいて、最先端の手法を著しく上回り、強力なスケーラビリティと性能を示した。
• Sachsら（2005）が提示した11タンパク質のシグナル伝達ネットワークにおいて、SAMは最高のAUPRスコアを達成し、Raf → Mek → Erkのような重要な因果経路を正しく回復した。
• 非線形関数的メカニズムを有する合成データセットにおいて、特に分布の非対称性が存在する状況で、SAMは優れた正確性と再現率を達成した。
• レジオンスタディの結果、敵対的訓練と非線形ニューラルネットワーク機構は、複雑で加法的でない設定において性能を左右する要因であることが確認された。
• すべてのベンチマークで、SAMは悲観的失敗を一貫して回避し、他の手法が失敗または性能を発揮できない状況でも、強固な性能を維持した。
• 計算効率とスケーラビリティが高く、GPUハードウェアを用いた効果的なトレーニングが可能であり、高次元データへの応用が可能であることが示された。