[논문 리뷰] A Parallel Algorithm for Exact Bayesian Structure Discovery in Bayesian Networks

Yetian Chen, Jin Tian외 2명|arXiv (Cornell University)|2014. 08. 07.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 3

한 줄 요약

이 논문은 동적 프rogramming 하위 문제의 초입방형 구조를 활용하여 최적의 공간 효율성과 거의 최적의 시간 효율성을 확보하는 병렬 알고리즘인 ParaREBEL을 제안한다. 이는 베이지안 네트워크에서 정확한 베이지안 구조 발견을 가능하게 하며, 최대 2048개의 프로세서에서 확장 가능하며, 33개 변수를 가진 데이터셋에서 효모 페로몬 반응 경로를 성공적으로 발견한다. 이는 대규모 BN에서 모든 간선의 정확한 사후 확률 계산을 위한 첫 실용적 해결책을 제시한다.

ABSTRACT

Exact Bayesian structure discovery in Bayesian networks requires exponential time and space. Using dynamic programming (DP), the fastest known sequential algorithm computes the exact posterior probabilities of structural features in $O(2(d+1)n2^n)$ time and space, if the number of nodes (variables) in the Bayesian network is $n$ and the in-degree (the number of parents) per node is bounded by a constant $d$. Here we present a parallel algorithm capable of computing the exact posterior probabilities for all $n(n-1)$ edges with optimal parallel space efficiency and nearly optimal parallel time efficiency. That is, if $p=2^k$ processors are used, the run-time reduces to $O(5(d+1)n2^{n-k}+k(n-k)^d)$ and the space usage becomes $O(n2^{n-k})$ per processor. Our algorithm is based the observation that the subproblems in the sequential DP algorithm constitute a $n$-$D$ hypercube. We take a delicate way to coordinate the computation of correlated DP procedures such that large amount of data exchange is suppressed. Further, we develop parallel techniques for two variants of the well-known \emph{zeta transform}, which have applications outside the context of Bayesian networks. We demonstrate the capability of our algorithm on datasets with up to 33 variables and its scalability on up to 2048 processors. We apply our algorithm to a biological data set for discovering the yeast pheromone response pathways.

연구 동기 및 목표

• 베이지안 네트워크에서 정확한 구조 발견의 계산적 병목 현상, 즉 지수적 시간 및 공간 복잡도 문제를 해결한다.
• 25개 이상의 변수를 가진 네트워크에서 메모리 사용 제약으로 인해 제한되는 순차적 동적 프로그래밍 알고리즘의 한계를 극복한다.
• 모든 구조적 특징에 대한 사후 확률의 정확한 계산을 유지하면서도 런타임과 프로세서당 메모리 사용량을 줄이는 확장 가능한 병렬 알고리즘을 개발한다.
• 예를 들어 효모 페로몬 반응 경로와 같이 구조 학습이 핵심적인 대규모 생물학적 데이터셋에서 인과 관계의 실용적 발견을 가능하게 한다.
• 병렬 프로세스 간의 과도한 데이터 교환을 억제하고, 상관된 동적 프로그래밍 계산을 효율적으로 조율하는 방법을 설계한다.

제안 방법

• 베이지안 구조 발견의 동적 프로그래밍 하위 문제를 n차원 초입방형으로 표현하여 내재된 병렬성을 활용한다.
• 상관된 DP 절차 간 전환 시 상호 프로세스 간 데이터 전송을 최소화하는 새로운 조율 전략을 도입한다.
• 알고리즘의 효율성의 핵심이 되는 zeta 변환의 변형을 계산하기 위한 두 가지 새로운 병렬 기법을 개발한다.
• 프로세서 수 $ p = 2^k $ 를 사용하여 $ O(5(d+1)n2^{n-k} + k(n-k)^d) $ 의 런타임과 프로세서당 $ O(n2^{n-k}) $ 의 공간을 달성함으로써 거의 최적의 병렬 시간 효율성과 최적의 공간 효율성을 확보한다.
• 표준(구조 모odular) 사전 확률을 사용하여 베이지안 네트워크의 모든 $ n(n-1) $ 개 간선에 대한 정확한 사후 확률을 계산하며, 순서 모odular 사전 확률의 한계를 피한다.
• 외부 저장소 의존도를 줄이기 위해 공유 메모리 병렬 처리와 효율적인 메모리 관리 기법을 조합한 하이브리드 접근 방식을 구현한다.

실험 결과

연구 질문

• RQ1 병렬 컴퓨팅을 활용하여 30개 이상의 변수를 가진 더 큰 네트워크에서 정확한 베이지안 구조 발견을 확장할 수 있는가?
• RQ2 구조 발견의 동적 프로그래밍에서 지수적 공간 복잡도를 병렬화를 통해 효과적으로 줄일 수 있는가?
• RQ3 병렬 환경에서 다수의 상관된 동적 프로그래밍 계산을 조율하는 최적의 방법은 무엇인가, 통신 오버헤드를 최소화할 수 있는가?
• RQ4 알고리즘이 정확한 베이지안 구조 발견에서 거의 최적의 병렬 시간과 최적의 공간 효율성을 동시에 달성할 수 있는가?
• RQ5 알고리즘이 도메인 제약 조건 없이 고차원 데이터에서 알려진 생물학적 조절 경로를 얼마나 잘 복원할 수 있는가?

주요 결과

• 2048개의 코어를 사용하여 33개 변수의 생물학적 데이터셋에서 1056개의 잠재적 간선에 대한 정확한 사후 확률을 1542초 만에 성공적으로 계산하여 정확한 구조 발견 기록을 수립했다.
• ParaREBEL 알고리즘은 $ p = 2^k $ 프로세서를 사용하여 $ O(5(d+1)n2^{n-k} + k(n-k)^d) $ 의 런타임을 달성하며, 거의 최적의 병렬 시간 효율성을 입증했다.
• 프로세서당 메모리 사용량이 $ O(n2^{n-k}) $ 로 감소하여 최적의 공간 효율성을 확보했으며, 이는 25개 이상의 변수를 초월하는 확장성에 매우 중요하다.
• 후보 간선의 사후 확률이 ≥ 0.1인 간선을 사용해 구성한 효모 페로몬 반응 경로의 네트워크 모델은 60개 간선을 가진 DAG이며, 생물학적으로 관련된 변수들이 강하게 군집되어 있었다.
• 이 네트워크 구조는 이전 문헌에서 알려진 제약 조건이 있는 모델과 유사하게 나타나, 사후 확률 기반 모델링이 게으른 또는 시뮬레이티드 어닐링 방법보다 진정한 생물학적 관계를 더 잘 포착함을 시사한다.
• 알고리즘은 최대 2048개의 프로세서에서 확장 가능하며, 증명 가능한 효율성 보장을 갖춘 정확한 베이지안 구조 발견을 위한 첫 실용적 병렬 솔루션이다.