[논문 리뷰] Efficient Sampling and Structure Learning of Bayesian Networks

Jack Kuipers, Polina Suter외 1명|arXiv (Cornell University)|2018. 03. 21.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 제약 기반 필터링과 빠른 테이블 룩업 기반 MCMC 샘플링을 조합한 하이브리드 MCMC 방법을 소개한다. 부모 집합의 포스셋(poseset) 구조와 재귀적 벡터 집계를 활용하여, 범주형 데이터의 경우 점수 계산 복잡도를 O(max{KN, 3^K})로 감소시켜 이전에 가능하지 않았던 더 큰 네트워크에서의 스케일러블한 사후 샘플링과 완전한 베이지안 모델 평균화를 가능하게 한다.

ABSTRACT

Bayesian networks are probabilistic graphical models widely employed to understand dependencies in high dimensional data, and even to facilitate causal discovery. Learning the underlying network structure, which is encoded as a directed acyclic graph (DAG) is highly challenging mainly due to the vast number of possible networks in combination with the acyclicity constraint. Efforts have focussed on two fronts: constraint-based methods that perform conditional independence tests to exclude edges and score and search approaches which explore the DAG space with greedy or MCMC schemes. Here we synthesise these two fields in a novel hybrid method which reduces the complexity of MCMC approaches to that of a constraint-based method. Individual steps in the MCMC scheme only require simple table lookups so that very long chains can be efficiently obtained. Furthermore, the scheme includes an iterative procedure to correct for errors from the conditional independence tests. The algorithm offers markedly superior performance to alternatives, particularly because DAGs can also be sampled from the posterior distribution, enabling full Bayesian model averaging for much larger Bayesian networks.

연구 동기 및 목표

• DAG의 수천 배로 증가하는 성장과 순환성 제약 조건으로 인한 베이지안 네트워크 구조 학습의 계산 불가능성 문제를 해결하기 위해.
• MCMC 기반의 구조 학습 복잡도를 제약 기반 방법 수준으로 낮추면서도 사후 샘플링을 통한 완전한 베이지안 추론을 유지하기 위해.
• 특히 고차원 연속형 및 범주형 데이터에 대해 DAG 위에서의 효율적인 사후 샘플링을 가능하게 하여 모델 평균화를 수행하기 위해.
• MCMC 체계 내에서 반복 보정 절차를 통해 조건부 인력 테스트의 오류를 수정하기 위해.

제안 방법

• 모든 가능한 부모 구성에 대한 BDe 점수를 재귀적 벡터 집계를 통해 효율적으로 계산하기 위해, 부모 집합의 포스셋(poseset) 구조(완전한 집합에서 빈 집합까지)를 사용한다.
• 각 노드-부모 구성에 대해 이진 인덱싱을 통한 부모 상태 매핑을 통해 O(KN) 시간 내에 필요한 통계량(카운트 벡터)을 계산한다 (식 31).
• 점수 값을 상단(완전한 부모 집합)에서 하단(빈 집합)으로 계층별로 재귀적 카운트 벡터 조합을 사용하여 계산한다 (식 32), 이로 인해 O(K4^K)에서 O(3^K)로 복잡도가 감소한다.
• 점수 차이 계산을 위한 테이블 룩업만을 사용하여 DAG 공간에서 국소적 이동을 수행하는 MCMC 샘플러를 구현하여 매우 긴 체인을 효율적으로 생성할 수 있다.
• 반복 보정 절차를 통해 조건부 인력 테스트의 초기 스켈레톤을 보완하여, 테스트 오류가 존재하는 환경에서도 정확도를 향상시킨다.
• 이 방법은 MAP 구조 탐색과 완전한 사후 샘플링을 모두 지원하여 더 큰 네트워크에서의 베이지안 모델 평균화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 MCMC 기반의 베이지안 네트워크 구조 학습이 사후 샘플링 능력을 유지하면서도 제약 기반 방법 수준의 효율성으로 향상시킬 수 있는가?
• RQ2 부모 집합의 포스셋의 구조적 특성을 활용하여, 모든 부모 집합에 대한 점수 계산 복잡도를 O(K4^K)에서 O(3^K)로 감소시킬 수 있는가?
• RQ3 조건부 인력 테스트 오류에 대한 반복 보정 절차가 고차원 설정에서의 구조 학습 정확도를 향상시키는가?
• RQ4 이전에 가능하지 않았던 더 큰 네트워크에서 DAG 위에서의 효율적인 사후 샘플링을 달성할 수 있는가?

주요 결과

• 제안된 방법은 범주형 데이터의 점수 계산 복잡도를 O(K4^K)에서 O(max{KN, 3^K})로 감소시켜 고-K 설정에서 상당한 향상을 이룬다.
• 연속형 데이터에 대해 BGe 점수를 사용할 경우, 이 방법은 효율적인 MCMC 샘플링을 가능하게 하여 이전에는 처리 불가능했던 더 큰 네트워크에서 완전한 베이지안 모델 평균화를 실현한다.
• 기준 데이터셋에서의 MAP 구조 탐색 시간은 150초, 샘플링 시간은 30초로 나타나 실용적인 확장성을 입증한다.
• 반복 보정 절차는 조건부 인력 테스트 오류를 효과적으로 완화하여 구조 정확도를 향상시킨다.
• 식 (32)를 통한 재귀적 벡터 집계의 활용은 최소한의 메모리 오버헤드로 모든 부모 집합 구성에 대해 효율적인 점수 계산을 가능하게 한다.