[論文レビュー] Learning Neural Causal Models from Unknown Interventions

Nan Rosemary Ke, Olexa Bilaniuk+7 more|arXiv (Cornell University)|Oct 2, 2019

Bayesian Modeling and Causal Inference参考文献 59被引用数 46

ひとこと要約

この論文は、観測データと未知の介入の両方から構造因果モデルを学習する連続最適化手法SDIを紹介します。ニューラルネットワークとREINFORCE風の勾配を用いてDAG構造を回復し、見たことのない介入へ一般化します。

ABSTRACT

Promising results have driven a recent surge of interest in continuous optimization methods for Bayesian network structure learning from observational data. However, there are theoretical limitations on the identifiability of underlying structures obtained from observational data alone. Interventional data provides much richer information about the underlying data-generating process. However, the extension and application of methods designed for observational data to include interventions is not straightforward and remains an open problem. In this paper we provide a general framework based on continuous optimization and neural networks to create models for the combination of observational and interventional data. The proposed method is even applicable in the challenging and realistic case that the identity of the intervened upon variable is unknown. We examine the proposed method in the setting of graph recovery both de novo and from a partially-known edge set. We establish strong benchmark results on several structure learning tasks, including structure recovery of both synthetic graphs as well as standard graphs from the Bayesian Network Repository.

研究の動機と目的

• 観測データのみから因果グラフを学習する際の同定可能性の制限に対処する。
• 介入ターゲットが未知であっても、観測データと介入データを統合するフレームワークを開発する。
• 離散変数の SCM と部分的な知識がある状況に対して、スケーラブルな構造学習を可能にする。
• ベイジアンネットワークリポジトリの合成グラフと実世界データセットに対して強力な実証ベンチマークを提供する。

提案手法

• グラフ構造を滑らかにした隣接行列 gamma でパラメータ化し、Bernoulli(C) のエッジ構成を用いて DAG をサンプリングする。
• 各変数について、(サンプリングされた)親集合を条件とした条件付き確率モデル theta を学習する。
• フェーズ1: 観測データの下で、サンプリングされたグラフ構成に対して尤度最大化により theta を適合させる。
• フェーズ2: 介入データに対して予測の劣化を観測し、未知の場合は介入ターゲットを予測することでグラフ構成を評価する。
• フェーズ3: 介入データの報酬を用いて REINFORCE に類似した勾配で gamma を更新し、エッジ信念を洗練させる。
• 循環を抑制する DAG 正則化項と、素朴で簡潔なグラフを促進する稀疎性ペナルティを課す。

実験結果

リサーチクエスチョン

• RQ1 提案モデルは、観測データと未知の介入の混在から真の因果グラフを回復できるか。
• RQ2 SDI 手法は実世界データセットに対して最先端の因果推定法とどのように比較されるか。
• RQ3 未知の介入や部分的なグラフ回復設定に対してモデルは一般化するか。
• RQ4 グラフのサイズと密度に対する SDI のスケーラビリティはどの程度か。
• RQ5 未知の介入ターゲットと部分的な事前エッジ情報をどれだけ適切に取り扱えるか。

主な発見

• SDI は合成グラフと実世界ベンチマークの両方で強力なグラフ回復を実現し、SHD 指標でいくつかのベースラインを上回る。
• 本手法は、ある程度のサイズと密度までの複数の合成グラフに対して DAG を完全に回復できるが、非常に大規模または高密度のグラフではいくらか難が生じる。
• SDI は未知の介入へ一般化し、介入データに対する対数尤度を非因果モデルより高く保つ。
• 部分グラフ回復設定では、学習されるエッジの一部のみでも高い精度を達成し、数十の変数を持つグラフにもスケールする。
• SDI 内の介入ターゲット予測ヒューリスティックは、既知ターゲットと未知ターゲイン介入設定の間の性能を橋渡しするのに役立つ。