[論文レビュー] Differentiable Causal Discovery from Interventional Data

Philippe Brouillard, Sébastien Lachapelle+3 more|arXiv (Cornell University)|Jul 3, 2020

Bayesian Modeling and Causal Inference参考文献 39被引用数 17

ひとこと要約

本稿では、介入データ（完全な介入、不完全な介入、およびターゲットが不明な介入を含む）を活用し、ニューラルネットワークとノーマライジングフローを用いて、微分可能で連続的な最適化フレームワークである介入付き微分可能因果発見（DCDI）を提案する。この手法は正則性条件下で介入付きマークフ・同値クラスを正当に同定でき、非線形な関数形や介入タイプを含む多様な設定において、最先端の手法を上回る性能を発揮する。

ABSTRACT

Learning a causal directed acyclic graph from data is a challenging task that involves solving a combinatorial problem for which the solution is not always identifiable. A new line of work reformulates this problem as a continuous constrained optimization one, which is solved via the augmented Lagrangian method. However, most methods based on this idea do not make use of interventional data, which can significantly alleviate identifiability issues. This work constitutes a new step in this direction by proposing a theoretically-grounded method based on neural networks that can leverage interventional data. We illustrate the flexibility of the continuous-constrained framework by taking advantage of expressive neural architectures such as normalizing flows. We show that our approach compares favorably to the state of the art in a variety of settings, including perfect and imperfect interventions for which the targeted nodes may even be unknown.

研究の動機と目的

• 観測データのみで因果構造を学習する課題に取り組むこと、特に観測設定下では同定可能性が制限される場合を想定する。
• 介入データを組み込むことで同定可能性を向上させること、特に介入ターゲットが不明である場合や介入が不完全な場合を含む。
• 組み合わせ的探索を回避し、エンドツーエンド学習を可能にする理論的裏付けのある微分可能最適化フレームワークを構築すること。
• 正規化フローのような表現力の高い密度推定器を活用し、強いパラメトリックな仮定を必要とせずに複雑な非線形因果メカニズムをモデル化すること。
• 非線形および非ガウス的設定を含む多様な介入タイプと関数形において、強力な性能を示すこと。

提案手法

• 増大ラグランジュ法を用いて、因果発見を連続的かつ制約付き最適化問題として定式化し、微分可能学習を可能にする。
• 観測データと介入データの両方を組み込んだ微分可能なスコア関数を導入し、非巡回性の微分可能な緩和を用いてDAG構造の制約を課す。
• 完全な介入（介入されたノードが親から切断される）、不完全な介入（因果メカニズムが変更される）、およびターゲット不明な介入をサポートする。
• 2つの実装形態を提案：1つは密度推定に標準的なニューラルネットワークを用い、もう1つはより高いモデルの柔軟性を実現するためのノーマライジングフローを用いる。
• 確率的勾配降下法を用いて最適化を実行し、DAG構造をバックプロパゲーション可能にする微分可能な非巡回性制約を導入する。
• 理論的裏付けが与えられている：正則性条件下では、提案スコアの正確な最大化が、既知のターゲットおよび未知のターゲット介入設定下で真のDAGの$σ$-マークフ・同値クラスを同定する。

実験結果

リサーチクエスチョン

• RQ1 介入ターゲットが不明な場合でも、微分可能で連続的な最適化フレームワークが、介入データからの因果構造を効果的に学習できるか？
• RQ2 一般の非線形関数形下で、提案手法が介入付きマークフ・同値クラスの理論的同定性を達成できるか？
• RQ3 完全な介入、不完全な介入、およびターゲット不明な介入を含む設定において、提案手法は最先端の手法と比較してどのように性能を発揮するか？
• RQ4 ノーマライジングフローのような表現力の高い密度推定器は、非線形的・非ガウス的設定下での因果発見性能を向上させられるか？
• RQ5 異なる介入タイプやノイズレベルが、本手法のロバストネスと精度に与える影響は何か？

主な発見

• DCDIは、非線形関数形やさまざまな介入タイプを含む、評価されたすべての設定で最先端の性能を達成する。
• 既知のターゲット介入設定下では、DCDI-G（標準的なニューラルネットワークを用いる）は30変数データセットで平均F1スコア80.5 ± 19.0を達成し、すべてのベースラインを上回る。
• DCDI-DSF（ノーマライジングフローを用いる）は、同じデータセットで平均F1スコア81.3 ± 11.3を達成し、より表現力のある密度推定の利点を示している。
• 不完全な介入に対しても本手法は強くロバストである。DCDI-DSFは、同様の30変数データセットで不完全な介入下でも平均F1スコア77.7 ± 12.8を達成している。
• ターゲット不明な介入設定下では、DCDI-DSFは30変数データセットで平均F1スコア77.9 ± 7.5を達成し、UTIGSPおよびJCI-PCの変種を著しく上回っている。
• 理論的保証により、スコアの正確な最大化が真のDAGの$σ$-マークフ・同値クラスを同定することが保証されており、信頼性の高い因果発見の基盤を提供する。