[論文レビュー] Towards Scalable Bayesian Learning of Causal DAGs

Jussi Viinikka, Antti Hyttinen+2 more|arXiv (Cornell University)|Sep 30, 2020

Bayesian Modeling and Causal Inference参考文献 22被引用数 4

ひとこと要約

本稿では、因果的DAGのベイジアン構造学習のためのスケーラブルなMCMC手法Gadgetと、線形ガウスモデルにおける因果効果推定のための新しいベイジアン手法Beepsを提案する。候補親ノード選択の最適化と、アルゴリズム的改善によるメモリ・時間コストの低減により、100個以上の変数を含むDAGにおける後方確率推定が効率的に行えるようになり、特にデータが限られた状況下でも、先行手法を上回る因果効果推定性能を発揮する。

ABSTRACT

We give methods for Bayesian inference of directed acyclic graphs, DAGs, and the induced causal effects from passively observed complete data. Our methods build on a recent Markov chain Monte Carlo scheme for learning Bayesian networks, which enables efficient approximate sampling from the graph posterior, provided that each node is assigned a small number $K$ of candidate parents. We present algorithmic techniques to significantly reduce the space and time requirements, which make the use of substantially larger values of $K$ feasible. Furthermore, we investigate the problem of selecting the candidate parents per node so as to maximize the covered posterior mass. Finally, we combine our sampling method with a novel Bayesian approach for estimating causal effects in linear Gaussian DAG models. Numerical experiments demonstrate the performance of our methods in detecting ancestor-descendant relations, and in causal effect estimation our Bayesian method is shown to outperform previous approaches.

研究の動機と目的

• 大規模因果推論におけるDAGの組み合わせ的空間全体に対するベイジアンモデル平均の計算不能性に対処する。
• 高メモリ使用量や特定の順序の過剰代表によるサンプリングバイアスといった、既存のDAG用MCMCサンプラーの限界を克服する。
• 時間的・空間的複雑性の低減により、数100変数のDAG構造に対する効率的かつ正確な後方確率サンプリングを可能にする。
• 構造的不確実性と全体のDAG構造を活用するベイジアンフレームワークを構築し、非ベイジアンなIDAスタイル手法を凌駕する因果効果推定を実現する。
• 後方確率のカバー率を最大化しつつ計算可能性を維持するための最適な候補親ノード選択戦略を同定する。

提案手法

• 完全なDAGやノード順序ではなく、ノードのパーティションにわたるサンプリングを行うパーティションベースのMCMCスキームを採用し、サンプリングバイアスを低減する。
• 各ノードの親集合をサイズ$ K $の小さな候補集合に制限し、スコアの和を事前計算したルックアップテーブルに格納することで、1ステップあたりの計算量を著しく削減する。
• 効率的なデータ構造やプルーニング戦略などのアルゴリズム的最適化を導入し、メモリと時間の複雑性を低減させ、$ K=15 $ などの大きな$ K $値に対しても2〜3桁のコスト削減を実現する。
• 3段階のサンプリングベースの手法（Beeps）を提案して因果効果の後方分布を近似する：(1) GadgetでDAGをサンプリング、(2) 各DAGごとにモデルパラメータを条件付きでサンプリング、(3) 線形ガウスモデルにおける行列逆行列計算により因果効果を算出する。
• 行列逆行列を用いて構造的パラメータから介入分布へのマッピングを実現し、線形ガウス仮定下での正確な因果効果計算を可能にする。
• 小規模なグラフでは正確最適化、大規模なグラフではスケーラブルなヒューリスティクスを用いて候補親ノード選択を評価し、後方確率カバー率の最大化を目的とする。

実験結果

リサーチクエスチョン

• RQ1 計算可能性とサンプリング精度を維持しつつ、100個以上の変数を含む大規模ネットワークへのベイジアンDAG学習をどのようにスケーリングできるか？
• RQ2 各ノードの候補親ノード選択戦略として、真のDAG構造の後方確率カバー率を最大化する最適な戦略は何か？
• RQ3 構造的不確実性を完全に活用するベイジアン手法を設計でき、非ベイジアン手法（例：IDA）を上回る性能を発揮できるか？
• RQ4 メモリと時間の要件は$ K $の増加に伴いどのように変化するか？また、2〜3桁のコスト削減を実現するためのアルゴリズム的最適化は何か？
• RQ5 ヒューリスティックな親ノード選択法は最適選択の性能をどの程度近似できるか？また、どのような状況で失敗するのか？

主な発見

• 提案されたアルゴリズム的最適化により、メモリと時間の要件が2〜3桁削減され、$ K=15 $ の使用が現実的となり、後方DAG空間の顕著に大きな部分をカバーできるようになった。
• Beepsは、従来のIDAベースの手法よりも因果効果推定で優れた性能を示し、特に小規模〜中規模のサンプルサイズ下で、精度と不確実性の定量化の両面で向上が確認された。
• 107変数の実世界の遺伝子発現データセットにおいて、BeepsはBiDAGやGadgetよりも高い精度を達成した。特に200〜400件のデータポイントで、BiDAGはしばしば収束しなかったのに対し、Beepsは安定して良好な性能を示した。
• 800および1600件のデータポイントを持つデータセットでは、BiDAGはそれぞれ10回中4回および8回で100イテレーションを完了できず、Gadget（$ K=15 $）は安定的かつスケーラブルに動作した。
• 最適な候補親ノード集合は、中程度の$ K $値でも強力な後方確率カバー率を達成でき、単純なヒューリスティクスはしばしば近似的に最適な性能を達成するが、常にそうではない。これは、高得点の親ノード集合を効率的に同定するためのさらなる研究の必要性を示唆している。
• ベイジアン因果効果推定器（Beeps）は、因果効果の完全な後方分布を提供し、不確実性を考慮した意思決定を原理的に行える。非ベイジアン代替手法に比べ、推定精度の面で優れた性能を示した。