[논문 리뷰] Minimal I-MAP MCMC for Scalable Structure Discovery in Causal DAG Models

Raj Agrawal, Tamara Broderick외 1명|arXiv (Cornell University)|2018. 03. 15.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 7

한 줄 요약

이 논문은 최소 I-MAP MCMC를 제안하며, 정점 순서와 일관된 희박한 DAG인 최소 I-MAP에 집중함으로써 DAG에서 인과 구조 탐색을 위한 확장 가능한 베이지안 방법을 제공한다. 이 방법은 경험적 조건부 이상성 테스트를 활용하며, MCMC 반복당 시간 복잡도가 O(p⁴)이며 최대 들어오는 간선 수에 영향을 받지 않는다. 유연한 사전 분포 설정이 가능하고, 실제 데이터셋에서 정확도, 혼합 성능, 확장성 면에서 순서 기반 MCMC 및 분할 기반 MCMC보다 뛰어나다.

ABSTRACT

Learning a Bayesian network (BN) from data can be useful for decision-making or discovering causal relationships. However, traditional methods often fail in modern applications, which exhibit a larger number of observed variables than data points. The resulting uncertainty about the underlying network as well as the desire to incorporate prior information recommend a Bayesian approach to learning the BN, but the highly combinatorial structure of BNs poses a striking challenge for inference. The current state-of-the-art methods such as order MCMC are faster than previous methods but prevent the use of many natural structural priors and still have running time exponential in the maximum indegree of the true directed acyclic graph (DAG) of the BN. We here propose an alternative posterior approximation based on the observation that, if we incorporate empirical conditional independence tests, we can focus on a high-probability DAG associated with each order of the vertices. We show that our method allows the desired flexibility in prior specification, removes timing dependence on the maximum indegree and yields provably good posterior approximations; in addition, we show that it achieves superior accuracy, scalability, and sampler mixing on several datasets.

연구 동기 및 목표

• 고차원 설정에서 기존 MCMC 방법의 확장성 및 사전 분포의 탄력성에 대한 제약를 해결한다.
• 진짜 DAG의 최대 들어오는 간선 수에 의존하는 순서 기반 MCMC의 지수적 시간 및 메모리 복잡도 문제를 해결한다.
• 생물학적 및 도메인 특화 응용 분야에서 흔한 비-구조 모odular 사전 분포(예: 경로 및 순서 제약)를 MCMC 기반의 구조 학습에 통합할 수 있도록 한다.
• 효율적인 MCMC 혼합 및 계산 효율성을 유지하면서 사후 분포 근사 품질에 이론적 보장을 제공한다.

제안 방법

• 각 정점 순서에 대해 경험적 조건부 이상성(CI) 테스트를 사용하여 높은 확률을 가진 최소 I-MAP DAG를 식별함으로써, 순서당 하나의 DAG로 검색 공간을 줄인다.
• 최소 I-MAP를 주어진 순서와 관측된 CI 관계와 일치하는 가장 희박한 DAG로 정의하며, Verma-Pearl의 d-분리 특성화를 활용한다.
• 사후 분포를 최소 I-MAP 공간으로 제한함으로써, 순서에 대한 효율적인 MCMC 샘플링을 가능하게 하면서도 사후 근사 품질을 유지한다.
• 원래 DAG 사전 분포와 가능도를 축소된 최소 I-MAP 공간에 적용하는 경험적 베이즈 접근을 사용하여 통계적 일致성을 보장한다.
• 새로운 순서를 제안하고 해당 최소 I-MAP를 효율적으로 업데이트하는 MCMC 샘플러를 설계하며, 반복당 시간 복잡도가 O(p⁴)이다.
• 최소 I-MAP로 제한함으로써 발생하는 사후 근사 오차가 유계이며 표본 크기가 증가함에 따라 사라진다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 최대 들어오는 간선 수에 의존하지 않고, DAG에서 베이지안 구조 학습을 위한 확장 가능하고 통계적으로 일致하는 사후 근사가 가능할 수 있는가?
• RQ2 MCMC 기반의 구조 학습에서 비-구조 모듈러 사전 분포(예: 경로 및 순서 제약)를 효율적인 계산과 함께 통합할 수 있는가?
• RQ3 최소 I-MAP로 MCMC를 제한하면 기존의 순서 기반 MCMC 및 분할 기반 MCMC보다 더 나은 혼합 성능과 정확도를 얻을 수 있는가?
• RQ4 최소 I-MAP로 제한된 경우 MCMC 샘플링의 이론적 계산 복잡도는 얼마이며, 순서 기반 MCMC와 비교해 볼 때 어떻게 되는가?
• RQ5 최소 I-MAP MCMC는 그로이스 구조 학습 알고리즘의 점수 기준으로 사용될 수 있으며, 이로써 기존 방법보다 성능 향상을 이룰 수 있는가?

주요 결과

• 최소 I-MAP MCMC는 O(p³)의 경험적 시간 스케일링을 달성하며, 최대 들어오는 간선 수 k에 대해 순서 기반 MCMC의 O(p^{k+1}) 복잡도보다 훨씬 빠르다.
• 이 방법은 p=80개의 노드까지 처리할 수 있으며, 메모리 사용량이 약 1MB 이하이지만, 순서 기반 MCMC는 동일 조건에서 40GB 이상의 메모리가 필요하다.
• 여러 데이터셋에서 순서 기반 MCMC 및 분할 기반 MCMC와 비교해 최소 I-MAP MCMC가 더 뛰어난 MCMC 혼합 성능과 ROC 성능을 보였다.
• 비-구조 모듈러 사전 분포(예: 리간드→수용체→세포질 단백질 경로)를 통합함으로써 AUROC가 순서 기반 MCMC 대비 1~2% 향상되었으며, 사전 분포의 탄력성을 확인했다.
• 최소 I-MAP로 제한함으로써 발생하는 사후 근사 오차는 이론적으로 유계이며 표본 크기가 증가함에 따라 점점 줄어든다.
• 이 방법은 생물학적 경로 지식 기반의 임의의 DAG 사전 분포를 사용할 수 있게 하며, 이는 순서 기반 MCMC에서 요구하는 구조 모듈러 사전 분포에서는 불가능한 것이다.