[논문 리뷰] Bayesian structure learning using dynamic programming and MCMC

Daniel Eaton, Kevin J. Murphy|arXiv (Cornell University)|2012. 06. 20.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 84

한 줄 요약

이 논문은 DAG 위에서 마르코프 체인 몬테카를로(MCMC) 샘플링 내에서 동적 프rogram밍(DP)을 제안 분포로 사용하는 하이브리드 베이지안 구조 학습 방법을 제안한다. DP가 정확한 간선 사후 확률을 계산할 수 있는 능력을 활용하여, 이 방법은 MCMC의 열악한 믹싱 문제를 해결하면서도 비모odular prior와 예측 밀도 추정의 유연성을 유지하며, 테스트 데이터에서 더 빠른 수렴과 향상된 예측 정확도를 달성한다.

ABSTRACT

MCMC methods for sampling from the space of DAGs can mix poorly due to the local nature of the proposals that are commonly used. It has been shown that sampling from the space of node orders yields better results [FK03, EW06]. Recently, Koivisto and Sood showed how one can analytically marginalize over orders using dynamic programming (DP) [KS04, Koi06]. Their method computes the exact marginal posterior edge probabilities, thus avoiding the need for MCMC. Unfortunately, there are four drawbacks to the DP technique: it can only use modular priors, it can only compute posteriors over modular features, it is difficult to compute a predictive density, and it takes exponential time and space. We show how to overcome the first three of these problems by using the DP algorithm as a proposal distribution for MCMC in DAG space. We show that this hybrid technique converges to the posterior faster than other methods, resulting in more accurate structure learning and higher predictive likelihoods on test data.

연구 동기 및 목표

• 지역적이고 낮은 확률을 가진 제안으로 인해 DAG 공간에서 표준 MCMC 방법의 믹싱이 열악한 문제를 해결하기 위해.
• 베이지안 구조 학습에서 동적 프로그래밍(DP)의 제한 사항, 즉 제한된 prior 유형과 예측 밀도 계산 불가능성 등의 문제를 극복하기 위해.
• DP의 정확성과 MCMC의 유연성을 결합하여 비모odular prior와 다양한 특징 유형을 위한 학습을 가능하게 하기 위해.
• 베이지안 네트워크 구조 학습에서 수렴 속도와 예측 성능을 향상시키기 위해.
• 일반적인 prior와 예측 추론을 지원하면서도 정확한 간선 사후 확률 계산을 가능하게 하기 위해.

제안 방법

• 모든 가능한 DAG에 대해 정확한 간선 사후 확률을 계산하기 위해 동적 프로그래밍(DP)을 사용하여 MCMC의 제안 분포로 활용한다.
• DAG 공간에서 메트로폴리스-하스팅스 MCMC 샘플러 내부에 DP를 제안 메커니즘으로 통합한다.
• DP 알고리즘이 노드 순서에 대한 분석적 최적화를 가능하게 하여, 순서에 대한 MCMC 샘플링이 필요 없도록 한다.
• DP를 전체 사후 분포 계산을 위한 수단으로 사용하지 않고 제안 기능으로만 사용함으로써 prior 사양의 완전한 유연성을 유지한다.
• MCMC 프레임워크를 유지함으로써 예측 밀도 계산이 가능해지며, 순수한 DP에서는 불가능한 일이다.
• DP 제안을 통해 MCMC 이동을 이끄는 하이브리드 샘플링 전략을 활용하여 믹싱과 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 동적 프로그래밍은 베이지안 DAG 구조 학습에서 MCMC의 효과적인 제안 기구로 사용될 수 있는가?
• RQ2 DP와 MCMC를 결합하면 표준 MCMC보다 DAG 공간에서 수렴 속도와 믹싱이 향상되는가?
• RQ3 이 하이브리드 방법은 비모odular prior를 지원하면서도 DP의 간선 사후 확률 추정 정확성을 유지할 수 있는가?
• RQ4 이 하이브리드 접근법은 순수한 DP나 표준 MCMC보다 테스트 데이터에서 더 높은 예측 가능도를 제공하는가?
• RQ5 DP를 사후 근사에 사용하는 베이지안 구조 학습 프레임워크에서 예측 밀도 계산이 가능한가?

주요 결과

• 하이브리드 DP-MCMC 방법은 표준 MCMC보다 진짜 사후 분포로의 수렴 속도가 현저히 빠르다.
• 이 방법은 표준 MCMC와 순수한 DP 방법보다 테스트 데이터에서 더 높은 예측 가능도를 달성한다.
• DP를 제안으로 사용함으로써 DP가 모odular prior만 처리할 수 있는 한계를 극복하여 일반적인 prior 사용이 가능해진다.
• 이 방법은 순수한 DP가 순서에 대한 최적화를 수행하기 때문에 불가능한 예측 밀도 계산을 지원한다.
• 이 방법은 DP의 정확한 간선 사후 확률 계산을 유지하면서도 MCMC 샘플링을 통해 추가적인 유연성을 확보한다.
• 실험 결과는 정보적인 제안을 통해 DAG 공간의 더 나은 탐색이 가능해져서 더 높은 구조 학습 정확도를 달성함을 보여준다.