[논문 리뷰] Bayesian structure learning and sampling of Bayesian networks with the R package BiDAG

Polina Suter, Jack Kuipers외 2명|arXiv (Cornell University)|2021. 05. 02.

Bayesian Modeling and Causal Inference인용 수 10

한 줄 요약

이 논문은 베이지안 네트워크에서 효율적인 마르코프 체인 몬테 카를로(MCMC) 방법을 사용한 베이지안 구조 학습 및 샘플링을 위한 BiDAG R 패키지를 소개한다. 제안된 하이브리드 접근법은 PC 알고리즘 또는 사전 지식을 통한 제약 기반 검색 공간 축소와 반복적 순서 MCMC 및 분할 MCMC를 조합하여 수백 개 노드를 가진 대규모 네트워크에서도 확장 가능한 추론을 가능하게 한다. 주요 기여는 제한된 데이터 조건에서도 정확하고 빠르며 확장 가능한 사후 샘플링 및 MAP 구조 학습을 가능하게 하며, 기존 방법에 비해 속도와 정확도 면에서 DAG 발견에서 뛰어난 성능을 발휘한다.

ABSTRACT

The R package BiDAG implements Markov chain Monte Carlo (MCMC) methods for structure learning and sampling of Bayesian networks. The package includes tools to search for a maximum a posteriori (MAP) graph and to sample graphs from the posterior distribution given the data. A new hybrid approach to structure learning enables inference in large graphs. In the first step, we define a reduced search space by means of the PC algorithm or based on prior knowledge. In the second step, an iterative order MCMC scheme proceeds to optimize within the restricted search space and estimate the MAP graph. Sampling from the posterior distribution is implemented using either order or partition MCMC. The models and algorithms can handle both discrete and continuous data. The BiDAG package also provides an implementation of MCMC schemes for structure learning and sampling of dynamic Bayesian networks.

연구 동기 및 목표

• 초기 기하급수적 증가로 인해 대규모 베이지안 네트워크에서의 베이지안 구조 학습이 계산적으로 불가능해지는 문제를 해결하기 위해.
• 작은 또는 노이즈가 많은 데이터 세트에서 모델 불확실성을 잘못 표현할 수 있는 기존 도구들이 단일 최적 그래프만 찾는 데 집중하는 한계를 극복하기 위해.
• 수백 개 노드를 가진 네트워크로도 확장 가능하면서 정확도와 수렴 속도를 유지하는 효율적인 MCMC 알고리즘 개발을 위해.
• 이산 및 연속 데이터 모두를 지원하는 유연하고 오픈소스의 R 패키지 제공을 위해, 동적 베이지안 네트워크 포함.
• 사후 샘플링과 모델 평균화를 통해 잘못된 양성 간선을 줄이고 구조 발견의 강건성을 향상시키기 위해.

제안 방법

• 하이브리드 구조 학습 접근법을 적용: 먼저 PC 알고리즘 또는 사전 지식을 통해 검색 공간을 축소하고, 그 후 반복적 순서 MCMC를 통해 제한된 공간을 최적화하여 MAP DAG를 찾는다.
• 두 가지 MCMC 체계를 구현: 순서 MCMC(노드 순서 기반) 및 분할 MCMC(노드 집합 분할 기반)로, 둘 다 사후 분포에서 샘플링이 가능하다.
• 각 노드별로 분해 가능한 점수 함수를 사용: 이산 데이터에 대해서는 BDe, 연속 데이터에 대해서는 BGe를 사용하여 사전 계산된 점수 테이블을 통한 효율적 계산을 가능하게 한다.
• 점수 테이블 사전 계산을 통해 각 MCMC 제안의 복잡도를 O(n^{K+1})에서 O(n² log n)로 감소시켜, 대규모 네트워크에서도 적용 가능한 방법으로 개선한다.
• 수렴 진단 도구를 도입하고, 간선 사후 확률을 통한 모델 평균화를 실시하여 사후 확률이 0.5 초과인 간선만 유지함으로써 잘못된 양성 간선을 줄인다.
• 일阶 동적 베이지안 네트워크(DBN)를 지원하며, Rgraphviz 및 graph 패키지를 통한 시각화 도구를 포함한다.

실험 결과

연구 질문

• RQ1 제약 기반 검색 공간 축소와 반복적 순서 MCMC를 조합한 하이브리드 MCMC 접근법이 대규모 네트워크에서 더 빠르고 정확한 DAG 구조 학습을 달성할 수 있는가?
• RQ2 순서 및 분할 MCMC를 통한 사후 샘플링은 PC나 GES와 같은 단일 구조 방법에 비해 정확도와 잘못된 양성 간선 제어 면에서 어떻게 비교되는가?
• RQ3 간선 사후 확률(예: > 0.5)을 통해 MAP 그래프에만 의존하는 것과 비교해 모델 선택을 얼마나 향상시킬 수 있는가?
• RQ4 순서 MCMC 및 분할 MCMC의 성능은 네트워크 크기와 부모 집합 크기(K)에 따라 어떻게 스케일링되는가, 특히 K가 클 경우 어떻게 되는가?
• RQ5 BiDAG 패키지는 제한된 표본 수를 가진 실제 생물학적 데이터(예: 암 아형)로부터 효과적으로 구조를 학습하고 샘플링할 수 있는가?

주요 결과

• 반복적 순서 MCMC 체계는 PC 및 GES와 같은 기존 방법에 비해 더 빠른 수렴과 더 나은 진짜 DAG 복원 정확도를 달성하며, 특히 노이즈가 있거나 희박한 데이터 조건에서 뛰어난 성능을 보인다.
• 분할 MCMC를 통한 사후 샘플링과 간선 임계치 설정(사후 확률 > 0.5)은 잘못된 양성 간선을 크게 줄이면서 대부분의 진짜 양성 간선을 유지하여, 단일 MAP 그래프 선택에 비해 뛰어난 성능을 발휘한다.
• n = 100 노드 네트워크에서 점수 테이블 사전 계산을 통해 MCMC 복잡도가 O(n^{K+1})에서 O(n² log n)로 감소하여, K가 14까지도 적용 가능한 계산이 가능해진다.
• K > 7일 경우 점수 테이블 계산의 런타임이 기하급수적으로 증가하여 기하급수적으로 증가하지만, 실제 네트워크는 일반적으로 희박하다(평균 부모 집합 크기 1.4) 하여 대부분의 응용에 실용적이다.
• KIRP 및 KIRC 암 아형 분석에서 공통 그래프(사후 간선 확률 기반)는 알려진 생물학적 상호작용을 복원하였고, 새로운 간선(CCBL2–R3HDM1)까지 발견하여 생물학적 의미를 입증하였다.
• 패키지는 수백 개 노드를 가진 네트워크에서 사후 샘플링과 모델 평균화를 가능하게 하여, 대규모 베이지안 네트워크에서 확장 가능한 베이지안 구조 학습을 달성한 최초의 R 패키지이다.