[論文レビュー] Minimal I-MAP MCMC for Scalable Structure Discovery in Causal DAG Models

Raj Agrawal, Tamara Broderick+1 more|arXiv (Cornell University)|Mar 15, 2018

Bayesian Modeling and Causal Inference参考文献 24被引用数 7

ひとこと要約

本稿では、頂点順序に整合する最小I-MAP—条件付き独立性が満たされるスパースDAG—に焦点を当てることで、スケーラブルなベイジアン因果構造同定手法であるMinimal I-MAP MCMCを提案する。この手法は、各MCMC反復でO(p⁴)の時間計算量（最大インデグリの依存なし）を達成し、柔軟な事前分布の指定が可能であり、実データセットにおいて、順序MCMCおよびパーティションMCMCと比較して、精度、混合性、スケーラビリティの面で優れている。

ABSTRACT

Learning a Bayesian network (BN) from data can be useful for decision-making or discovering causal relationships. However, traditional methods often fail in modern applications, which exhibit a larger number of observed variables than data points. The resulting uncertainty about the underlying network as well as the desire to incorporate prior information recommend a Bayesian approach to learning the BN, but the highly combinatorial structure of BNs poses a striking challenge for inference. The current state-of-the-art methods such as order MCMC are faster than previous methods but prevent the use of many natural structural priors and still have running time exponential in the maximum indegree of the true directed acyclic graph (DAG) of the BN. We here propose an alternative posterior approximation based on the observation that, if we incorporate empirical conditional independence tests, we can focus on a high-probability DAG associated with each order of the vertices. We show that our method allows the desired flexibility in prior specification, removes timing dependence on the maximum indegree and yields provably good posterior approximations; in addition, we show that it achieves superior accuracy, scalability, and sampler mixing on several datasets.

研究の動機と目的

• 高次元設定におけるベイジアンネットワーク構造学習のための既存のMCMC手法のスケーラビリティおよび事前分布の柔軟性の制限を克服すること。
• 真のDAGの最大インデグリに依存する順序MCMCの指数的時間およびメモリ複雑性を克服すること。
• 生物学的および分野特異的応用で一般的な非構造モジュラー事前分布（例：経路および順序制約）をMCMCベースの構造学習に組み込むこと。
• 効率的なMCMC混合性および計算効率を維持しつつ、事後分布近似の品質に理論的保証を提供すること。

提案手法

• 各頂点順序に対して、高い確率の最小I-MAP DAGを特定するために、経験的条件付き独立性（CI）検定を用いることで、探索空間を1つのDAGに削減する。
• 最小I-MAPを、与えられた順序および観測されたCI関係に整合する最もスパースなDAGとして定義し、Verma-Pearlのd分離特性を活用する。
• 事後分布を最小I-MAPの空間に制限することで、順序の上での効率的なMCMCサンプリングを可能にするとともに、事後分布近似の品質を保持する。
• 経験的ベイズの観点から、元のDAG事前分布および尤度を縮小された最小I-MAP空間に適用することの正当性を示し、統計的一致性を保証する。
• 新しい順序を提案し、それに応じた最小I-MAPを効率的に更新するMCMCサンプラーを設計し、1反復あたりO(p⁴)の時間で実行する。
• 最小I-MAPに制限することによる事後分布近似誤差が有界であり、標本サイズが増加するにつれて消失することを理論的に証明する。

実験結果

リサーチクエスチョン

• RQ1 最大インデグリに依存しないスケーラブルかつ統計的一致性のある事後分布近似を、DAGにおけるベイジアン構造学習で達成できるか？
• RQ2 計算効率を維持しつつ、非構造モジュラー事前分布（例：リガンド→受容体→細胞質タンパク質経路）をMCMCベースの構造学習に組み込めるか？
• RQ3 MCMCを最小I-MAPに制限することで、順序MCMCやパーティションMCMCと比較して、混合性および精度が向上するか？
• RQ4 最小I-MAPに制限した場合のMCMCサンプリングの理論的計算複雑性は何か？ また、順序MCMCと比較してどうなるか？
• RQ5 Minimal I-MAP MCMCは、グリーディ構造学習アルゴリズムのスコアリング基準として使用可能か？ 既存手法と比較して性能が向上するか？

主な発見

• Minimal I-MAP MCMCは、実測でO(p³)の時間スケーリングを達成し、最大インデグリkに対してO(p^{k+1})の複雑性を示す順序MCMCよりも顕著に高速である。
• 本手法は、p=80ノードの規模でもわずか約1MBのメモリで動作するが、同様の条件下で順序MCMCは40GB以上を必要とする。
• 複数のデータセットにおいて、順序MCMCおよびパーティションMCMCと比較して、MCMCの混合性およびROC性能が優れている。
• 非構造モジュラー事前分布（例：リガンド→受容体→細胞質タンパク質経路）の組み込みにより、AUROCが順序MCMCと比較して1〜2%向上し、事前分布の柔軟性を確認した。
• 最小I-MAPに制限することによる事後分布近似誤差は理論的に有界であり、標本サイズが増加するにつれて消失する。
• 本手法により、生物学的経路知識に基づく任意のDAG事前分布の使用が可能となり、順序MCMCが要求する構造モジュラー事前分布では不可能な応用が可能になった。