[論文レビュー] Variational Causal Networks: Approximate Bayesian Inference over Causal Structures

Yashas Annadani, Jonas Rothfuss+5 more|arXiv (Cornell University)|Jun 14, 2021

Bayesian Modeling and Causal Inference参考文献 33被引用数 9

ひとこと要約

本稿では、構造的因果モデル（SCMs）における因果構造の近似ベイズ推論のための変分推論フレームワークである変分因果ネットワーク（VCN）を提案する。VCNは、隣接行列を用いたLSTMを介して自己回帰的分布として変分事後分布をモデル化することで、DAG上のマルチモーダル事後分布を効率的に捉え、合成データおよび実世界のデータセット（Dream4遺伝子調節チャレンジを含む）において、不確実性推定および因果構造回復の分野で最先端の性能を達成する。

ABSTRACT

Learning the causal structure that underlies data is a crucial step towards robust real-world decision making. The majority of existing work in causal inference focuses on determining a single directed acyclic graph (DAG) or a Markov equivalence class thereof. However, a crucial aspect to acting intelligently upon the knowledge about causal structure which has been inferred from finite data demands reasoning about its uncertainty. For instance, planning interventions to find out more about the causal mechanisms that govern our data requires quantifying epistemic uncertainty over DAGs. While Bayesian causal inference allows to do so, the posterior over DAGs becomes intractable even for a small number of variables. Aiming to overcome this issue, we propose a form of variational inference over the graphs of Structural Causal Models (SCMs). To this end, we introduce a parametric variational family modelled by an autoregressive distribution over the space of discrete DAGs. Its number of parameters does not grow exponentially with the number of variables and can be tractably learned by maximising an Evidence Lower Bound (ELBO). In our experiments, we demonstrate that the proposed variational posterior is able to provide a good approximation of the true posterior.

研究の動機と目的

• 有限の観測データからの因果構造学習におけるエピステミック的不確実性を定量化する課題に対処すること。
• 真のDAG上での事後分布が計算不能である構造的因果モデル（SCMs）におけるスケーラブルで実行可能なベイズ推論フレームワークを構築すること。
• パrametricな変分族を用いて、パラメータ数の指数的増加を回避しながら、複雑でマルチモーダルな因果グラフ事後分布をモデル化すること。
• データが限られた状況でも不確実性を考慮した干渉選択および因果効果推定を可能にすること。
• MCMC やブートストラップベースの手法に対する実用的で学習可能な代替手法を提供すること。

提案手法

• 因果構造学習のための変分推論フレームワークを提案し、変分事後分布を最適化するための下界（ELBO）を用いる。
• DAGの隣接行列に対する自己回帰的変分族を導入し、エッジ間の依存関係をモデル化するためLSTMでパrameter化する。
• DAG上の結合分布をエッジ存在意思決定の系列としてモデル化し、自己回帰的順序によりサイクルの排除を保証する。
• DAG制約の微分可能リラクゼーションを用いて、バックプロパゲーションによるエンドツーエンドの学習を可能にする。
• 真の事後分布への忠実度と計算効率の両立を図るため、スコアベースの目的関数を用いて変分近似を最適化する。
• 線形SCMに加法的ノイズを適用し、エッジの存在と因果効果に関する不確実性の定量化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 変分推論フレームワークは、計算不能な因果DAG事後分布を効果的に近似できるか？
• RQ2 自己回帰的変分族は、因果構造事後分布のマルチモーダル性および同定不能性をどれほどうまく捉えることができるか？
• RQ3 提案されたVCN手法は、要因分解された変分族および既存のベースラインと比較して、因果発見タスクにおける構造的ハミング距離（SHD）およびAUROCで優れた性能を示すか？
• RQ4 本モデルは、サンプル数が少ない状況でも干渉選択および因果効果推定のための信頼性のある不確実性推定を提供できるか？
• RQ5 MCMC やブートストラップベースの手法と比較して、本手法のパフォーマンスと実行時間のスケーリング特性はいかがなっているか？

主な発見

• 自己回帰的変分族を用いたVCNは、小規模なグラフ（d ≤ 4）において、要因分解ベースラインと比較して真の事後分布とのヘリンジャー距離が著しく低く、優れた近似品質を示した。
• 10および20ノードのErdős–Rényiランダムグラフにおいて、VCNはすべてのベースラインの中で期待される構造的ハミング距離（SHD）が最小であり、特に10サンプルの条件下で顕著であった。
• Dream4遺伝子発現データセットにおいて、VCNはAUROC 0.519 ± 0.03を達成し、IMAP MCMC（0.438 ± 0.02）、Boot Notears（0.330）、および要因分解ベースライン（0.489 ± 0.01）を上回った。
• VCNは、DAG Bootstrap や IMAP MCMC などのブートストラップベースの手法よりも高速でありながら、同等または優れたパフォーマンスを維持しており、実世界の応用に適している。
• 要因分解近似とは異なり、自己回帰的VCNモデルはエッジ間の依存関係をモデル化でき、マルチモーダル事後分布をより効果的に捉えている。
• Dream4データセットにおけるモデルの誤設定（非DAGの真のラベル）にもかかわらず、VCNは依然として優れたパフォーマンスを示しており、現実世界のデータ課題に対するロバストネスを示している。