[論文レビュー] Uniform generation of random acyclic digraphs

Jack Kuipers, Giusi Moffa|arXiv (Cornell University)|Feb 29, 2012

Bayesian Methods and Mixture Models参考文献 22被引用数 2

ひとこと要約

この論文は、マルコフ連鎖モンテカルロ（MCMC）手法に内在する収束問題を回避する、再帰的列挙に基づく方法を提案し、有向無閉路グラフ（DAG）の正確な一様ランダム生成を実現する。DAGの組合せ構造とその極限分布を活用することで、任意に大きなDAGを効率的かつ正確にサンプリング可能であり、さまざまな構造的制約のサポートも可能である。

ABSTRACT

AbstractWe show how to sample acyclic digraphs uniformly at random through recursive enumeration. This provides an exactmethod which avoids the convergence issues of the alternative Markov chain methods. The limiting behaviour of thedistribution of acyclic digraphs also allows us to sample arbitrarily large acyclic digraphs. Finally we discuss howto include various restrictions in the combinatorial enumeration for efficient uniform sampling of the correspondinggraphs.Keywords: Random graph generation, acyclic digraphs, recursive enumeration, Bayesian networks1. IntroductionDirected acyclic graphs (DAGs) are the basic representation of the structure underlying Bayesian networks, whichin turn represent multivariate probability distributions (Lauritzen, 1996; Neapolitan, 2004). They are largely used inmany fields of applied statistics with especially important applications in biostatistics, such as the learning of epistaticrelationships (Jiang et al., 2011). The estimation of DAGs or their equivalence class is a hard problem and methodsfor their efficient reconstruction from data is a very active field of resea rch: a recent review is given by Daly et al.,2011 while some new methodological developments for estimating high dimensional sparse DAGs are discussed byKalisch and Bu¨hlmann, 2007; Colombo et al., 2012. For simulation studies aimed at assessing the performance oflearning algorithms which reconstruct a graph from data, it is crucial to be able to generate uniform samples fromthe space of DAGs so that any structure related bias is removed. The only currently available method relies on theconstruction of a Markov chain whose properties ensure that the limiting distribution is uniform over all DAGs witha given number of vertices n. The strategy is based on a well known idea first suggested by M adigan and York (1995)as a Markov Chain Monte Carlo (MCMC) scheme in the context of Bayesian graphical models to sample from theposterior distribution of graphs conditional on the data. A specific algorithm for uniform sampling of DAGs wasfirst provided by Melanc¸on et al. (2001), with the advantage over the standard MCMC scheme of not requiring theevaluation of the sampled graphs’ neighbourhood size, at the expense of a slower convergence. The method waslater extended by Ide and Cozman (2002); Ide et al. (2004); Melanc¸on and Philippe (2004) to limit the sampling torestricted sets of DAGs. An R implementation was also recently provided by Scutari (2010). Since Markov chainbased algorithms pose non-negligible convergence and computational issues, in practice random upper or lower tri-angular adjacency matrices are often sampled to generate random ensembles for simulation studies [as for exampleimplemented in the pcalg R package of Kalisch et al. (2012)]. This method however does not provide uniformly dis-tributed graphs on the space of DAGs and could for example perform poorly to obtain starting points for hill-climbingalgorithms or slowly converging Markov chains by increasing the risk of remaining within a small neighbourhood ofcertain graphs and more inefficiently exploring the space. Likewise uniform sampling allows the correct evaluationof reconstructing algorithms. Finally, when evaluating the prevalence of certain features in a population, a uniformsample is essential. Here we therefore present a sampling strategy based on the recursive enumeration of DAGs butwhere no explicit listing is required.

研究の動機と目的

• シミュレーションスタディーやアルゴリズム評価において、有向無閉路グラフ（DAG）の正確で一様なサンプリング手法の不足を解消すること。
• 従来のDAGサンプリング手法で用いられるマルコフ連鎖モンテカルロ（MCMC）手法に伴う収束および混合の問題を克服すること。
• DAG分布の極限的挙動を活用することで、任意に大きなDAGの均一サンプリングを可能にする手法の開発。
• 最大インデグリーやエッジ数制限などの構造的制約（例：度制限）を、均一性を損なわずにサンプリングプロセスに統合すること。
• 一様なDAGアンサンブルを生成しないランダムな上三角行列／下三角行列サンプリングとは異なり、計算的に効率的な代替手法の提供。

提案手法

• 本手法は、特にトポロジカル順序とソース頂点選択に注目した、DAGの組合せ構造に基づく再帰的列挙を用いる。
• DAGはトポロジカル順序に従って頂点を再帰的に追加することで段階的に構築され、制御されたエッジ挿入により無閉路性が保証される。
• 部分DAGの完成方法の数に応じた重み付けを維持することで、均一性を保つ。
• すべてのDAGを明示的に列挙しないようにし、動的計画法に類似したカウント手法を用いてサンプリング確率を誘導する。
• 既知のDAGの漸近的分布に関する結果を活用することで、完全な列挙なしに大規模グラフのサンプリングが可能になる。
• 最大インデグリー制限やエッジ数制限などの制約は、構築過程における再帰的選択の制限によって統合される。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖の収束に依存せずに、有向無閉路グラフを均一にサンプリングすることは可能か？
• RQ2 再帰的組合せ的列挙は、効率的に均一なランダムDAGを生成するためにどのように適応可能か？
• RQ3 均一性を保ちつつ、どの程度まで構造的制約をサンプリングプロセスに埋め込むことができるか？
• RQ4 極限分布の性質を活用することで、任意に大きなDAGの生成に本手法をスケーリング可能か？
• RQ5 本手法は、既存のMCMCおよび行列サンプリング手法と比較して、効率性および均一性の点で優れているか？

主な発見

• 提案手法は、指定された頂点数を持つすべてのDAGの空間上で正確な一様サンプリングを達成し、MCMCの収束問題に起因するバイアスを排除する。
• 再帰的列挙フレームワークにより、DAGカウントの漸近的挙動を活用することで、任意に大きなDAGのサンプリングが可能になる。
• 最大インデグリー制限やエッジ数制限などの制約を、再帰的選択の制限によって効率的に統合できる。
• すべてのDAGを明示的に列挙しないことで、中程度の大きさのグラフに対しても計算的に実行可能である。
• 一様性の観点で、ランダムな上三角行列／下三角行列サンプリングを上回り、多様でバイアスのないグラフアンサンブルの生成に適している。
• 均一に分布した学習データを提供することで、DAG学習アルゴリズムの正しい評価が可能になる。