[논문 리뷰] Uniform generation of random acyclic digraphs

Jack Kuipers, Giusi Moffa|arXiv (Cornell University)|2012. 02. 29.

Bayesian Methods and Mixture Models참고 문헌 22인용 수 2

한 줄 요약

이 논문은 마르코프 체인 몬테카를로(MCMC) 방법에서 유래하는 수렴 문제를 피하기 위해, 비순환 방향 그래프(DAG)의 정확한 균일 랜덤 생성을 위한 재귀적 열거 기반 방법을 제시한다. DAG의 조합 구조와 그 한계 분포를 활용함으로써, 다양한 구조적 제약 조건을 수반하면서도 임의의 크기의 DAG를 효율적이고 정확하게 샘플링할 수 있다.

ABSTRACT

AbstractWe show how to sample acyclic digraphs uniformly at random through recursive enumeration. This provides an exactmethod which avoids the convergence issues of the alternative Markov chain methods. The limiting behaviour of thedistribution of acyclic digraphs also allows us to sample arbitrarily large acyclic digraphs. Finally we discuss howto include various restrictions in the combinatorial enumeration for efficient uniform sampling of the correspondinggraphs.Keywords: Random graph generation, acyclic digraphs, recursive enumeration, Bayesian networks1. IntroductionDirected acyclic graphs (DAGs) are the basic representation of the structure underlying Bayesian networks, whichin turn represent multivariate probability distributions (Lauritzen, 1996; Neapolitan, 2004). They are largely used inmany fields of applied statistics with especially important applications in biostatistics, such as the learning of epistaticrelationships (Jiang et al., 2011). The estimation of DAGs or their equivalence class is a hard problem and methodsfor their efficient reconstruction from data is a very active field of resea rch: a recent review is given by Daly et al.,2011 while some new methodological developments for estimating high dimensional sparse DAGs are discussed byKalisch and Bu¨hlmann, 2007; Colombo et al., 2012. For simulation studies aimed at assessing the performance oflearning algorithms which reconstruct a graph from data, it is crucial to be able to generate uniform samples fromthe space of DAGs so that any structure related bias is removed. The only currently available method relies on theconstruction of a Markov chain whose properties ensure that the limiting distribution is uniform over all DAGs witha given number of vertices n. The strategy is based on a well known idea first suggested by M adigan and York (1995)as a Markov Chain Monte Carlo (MCMC) scheme in the context of Bayesian graphical models to sample from theposterior distribution of graphs conditional on the data. A specific algorithm for uniform sampling of DAGs wasfirst provided by Melanc¸on et al. (2001), with the advantage over the standard MCMC scheme of not requiring theevaluation of the sampled graphs’ neighbourhood size, at the expense of a slower convergence. The method waslater extended by Ide and Cozman (2002); Ide et al. (2004); Melanc¸on and Philippe (2004) to limit the sampling torestricted sets of DAGs. An R implementation was also recently provided by Scutari (2010). Since Markov chainbased algorithms pose non-negligible convergence and computational issues, in practice random upper or lower tri-angular adjacency matrices are often sampled to generate random ensembles for simulation studies [as for exampleimplemented in the pcalg R package of Kalisch et al. (2012)]. This method however does not provide uniformly dis-tributed graphs on the space of DAGs and could for example perform poorly to obtain starting points for hill-climbingalgorithms or slowly converging Markov chains by increasing the risk of remaining within a small neighbourhood ofcertain graphs and more inefficiently exploring the space. Likewise uniform sampling allows the correct evaluationof reconstructing algorithms. Finally, when evaluating the prevalence of certain features in a population, a uniformsample is essential. Here we therefore present a sampling strategy based on the recursive enumeration of DAGs butwhere no explicit listing is required.

연구 동기 및 목표

• 시뮬레이션 연구와 알고리즘 평가에서 비순환 방향 그래프(DAG)에 대한 정확하고 균일한 샘플링 방법의 부족을 해결하기 위해.
• 이전의 DAG 샘플링 접근법에서 사용된 마르코프 체인 몬테카를로(MCMC) 방법과 관련된 수렴 및 혼합 문제를 극복하기 위해.
• DAG 분포의 점근적 행동을 활용하여, 주어진 크기의 전체 DAG로 완성할 수 있는 방법의 수에 따라 부분 DAG를 가중치화함으로써, 임의의 크기의 DAG를 균일하게 샘플링할 수 있는 방법을 개발하기 위해.
• 최대 진입 차수나 간선 수 제한과 같은 구조적 제약 조건을 샘플링 과정에 통합하면서도 균일성을 유지하기 위해.
• 균일한 DAG 집합을 생성하지 못하는 랜덤 상부/하부 삼각행렬 샘플링 방식에 대한 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• 이 방법은 주로 위상적 순서와 소스 정점 선택에 중점을 두어 DAG의 조합적 구조에 기반한 재귀적 열거를 사용한다.
• 순차적으로 위상 순서에 따라 정점을 추가함으로써 DAG를 구성하며, 제어된 간선 삽입을 통해 사이클이 발생하지 않도록 보장한다.
• 부분 DAG를 완전한 DAG로 완성할 수 있는 방법의 수에 따라 가중치를 부여함으로써 균일성을 유지한다.
• 모든 DAG를 명시적으로 열거하지 않고도 동적 프로그래밍 유사한 계수 기법을 사용하여 샘플링 확률을 안내한다.
• 기존의 DAG 분포의 점근적 분포 결과를 활용하여, 전체 열거 없이도 큰 그래프의 샘플링을 가능하게 한다.
• 최대 진입 차수나 간선 수 제한과 같은 제약 조건은 구축 과정 중 재귀적 선택을 제한함으로써 통합된다.

실험 결과

연구 질문

• RQ1 마르코프 체인 수렴에 의존하지 않고도 비순환 방향 그래프를 균일하게 샘플링할 수 있는가?
• RQ2 재귀적 조합적 열거는 어떻게 효율적으로 균일한 랜덤 DAG를 생성하는 데 적응될 수 있는가?
• RQ3 균일성을 유지하면서 샘플링 과정에 얼마나 많은 구조적 제약 조건을 통합할 수 있는가?
• RQ4 DAG 분포의 점근적 성질을 활용하여 이론적으로 무한히 큰 DAG를 생성할 수 있는가?
• RQ5 기존의 MCMC 및 행렬 기반 샘플링 방법과 비교해 본다면, 이 방법은 효율성과 균일성 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 주어진 정점 수를 가진 모든 DAG 공간에서 정확한 균일 샘플링을 달성하여, MCMC 수렴 문제에서 발생하는 편향을 제거한다.
• 재귀적 열거 프레임워크를 통해 DAG 수의 점근적 행동을 활용함으로써, 임의의 크기의 DAG를 샘플링할 수 있다.
• 최대 진입 차수나 간선 수 제한과 같은 제약 조건을 재귀적 선택을 제한함으로써 효율적으로 통합할 수 있다.
• 모든 DAG를 명시적으로 열거하지 않기 때문에, 중간 크기의 그래프에 대해서도 계산적으로 실행 가능하다.
• 균일성 측면에서 랜덤 상부/하부 삼각행렬 샘플링보다 뛰어나며, 다양하고 편향 없는 그래프 집합 생성에 더 적합하다.
• 균일하게 분포된 학습 데이터를 제공함으로써, DAG 학습 알고리즘의 정확한 평가가 가능해진다.