[논문 리뷰] Complexity analysis of Bayesian learning of high-dimensional DAG models and their equivalence classes

Quan Zhou, Hyunwoong Chang|arXiv (Cornell University)|2021. 01. 11.

Bayesian Modeling and Causal Inference참고 문헌 59인용 수 4

한 줄 요약

이 논문은 고차원 가우시안 DAG 모델과 그 등가 클래스에 대한 베이지안 구조 학습을 위한 랜덤 워크 메트로폴리스-하스팅스 알고리즘의 빠른 혼합을 확립한다. 희소성과 고차원성 조건 하에서 혼합 시간은 $n$과 $p$에 대해 다항적으로 증가하며, 이는 등가 클래스 공간의 효율적 탐색과 경험 베이지안 모델의 강한 선택 일致성을 보장한다.

ABSTRACT

Structure learning via MCMC sampling is known to be very challenging because of the enormous search space and the existence of Markov equivalent DAGs. Theoretical results on the mixing behavior are lacking. In this work, we prove the rapid mixing of a random walk Metropolis-Hastings algorithm, which reveals that the complexity of Bayesian learning of sparse equivalence classes grows only polynomially in $n$ and $p$, under some high-dimensional assumptions. A series of high-dimensional consistency results is obtained, including the strong selection consistency of an empirical Bayes model for structure learning. Our proof is based on two new results. First, we derive a general mixing time bound on finite state spaces, which can be applied to local MCMC schemes for other model selection problems. Second, we construct high-probability search paths on the space of equivalence classes with node degree constraints by proving a combinatorial property of DAG comparisons. Simulation studies on the proposed MCMC sampler are conducted to illustrate the main theoretical findings.

연구 동기 및 목표

• 고차원 DAG 구조 학습에서 큰 검색 공간과 마르코프 등가성으로 인한 MCMC 샘플러의 느린 혼합 문제를 다루기 위해.
• 등가 클래스 공간에서 랜덤 워크 메트로폴리스-하스팅스 알고리즘의 혼합 행동에 대한 이론적 보장을 확립하기 위해.
• 고차원 희소성 가정 하에서 표본 크기 $n$과 차원 $p$에 대해 베이지안 학습의 복잡도가 다항적으로 증가함을 증명하기 위해.
• 모델 선택 문제에 적용 가능한 국소 MCMC 기반의 일반적인 혼합 시간 경계를 개발하기 위해.
• 노드 차수 제약 조건과 DAG 비교의 새로운 조합적 성질을 활용하여 등가 클래스 상에서 고확률 탐색 경로를 구성하기 위해.

제안 방법

• 국소 MCMC 기반의 일반적인 유한 상태 혼합 시간 경계를 유도하여, 모델 선택 문제에서 수렴 분석이 가능하도록 한다.
• 노드 차수 제약 조건을 활용한 등가 클래스 공간 상의 표준 경로 구성 기법을 도입하여 고확률 연결성을 보장한다.
• 국소 이동을 사용하는 랜덤 워크 메트로폴리스-하스팅스 알고리즘을 적용하여 국소 제안을 활용해 혼합을 향상시킨다.
• 고차원 희소성 조건 하에서 스펙트럼 간격을 유계로 만들기 위해 파인카레 부등식을 사용하여 빠른 혼합을 확립한다.
• 약한 충실성 조건 하에서 안정한 '진짜' 모델을 정의하기 위해 임계값 처리된 계수 구조를 가진 수정된 경험 베이지안 모델을 적용한다.
• 제안된 MCMC 샘플러에 대한 시뮬레이션 연구를 통해 이론적 결과를 검증하였으며, 빠른 수렴과 정확한 모델 복원을 보여준다.

실험 결과

연구 질문

• RQ1 등가 클래스 상에서의 랜덤 워크 메트로폴리스-하스팅스 알고리즘이 $p \gg n$ 조건 하에서 고차원 설정에서 빠른 혼합을 보일 수 있는가?
• RQ2 희소성 및 고차원성 조건 하에서, 경험 베이지안 구조 학습의 혼합 시간이 $n$과 $p$에 대해 다항적으로 증가할 수 있는가?
• RQ3 진짜 모델이 희소한 경우, 고차원 DAG 학습에서 경험 베이지안 모델의 강한 선택 일치성이 달성 가능한가?
• RQ4 모델 선택 문제에서 유한 상태 공간 상의 국소 MCMC 기반에 대해 일반적인 혼합 시간 경계를 도출할 수 있는가?
• RQ5 DAG의 조합적 성질과 노드 차수 제약 조건을 활용하여 등가 클래스 상에서 고확률 탐색 경로를 어떻게 구성할 수 있는가?

주요 결과

• 등가 클래스 공간에서의 랜덤 워크 메트로폴리스-하스팅스 알고리즘의 혼합 시간은 $n$과 $p$에 대해 다항적으로 증가하며, 고차원 희소성 조건 하에서 빠른 혼합임을 확인한다.
• 국소 MCMC 기반의 일반적인 유한 상태 혼합 시간 경계가 도출되었으며, DAG 학습을 초월한 다양한 응용에 적용 가능하다.
• 노드 차수 제약 조건을 활용하여 등가 클래스 상에서 고확률 표준 경로를 구성하였으며, 스펙트럼 간격 분석이 가능해졌다.
• 고차원 희소성과 약한 충실성 조건 하에서 경험 베이지안 모델의 강한 선택 일치성이 확립되었다.
• 이론적 결과는 시뮬레이션을 통해 검증되었으며, 빠른 수렴과 희소 DAG 구조의 정확한 복원을 보여주었다.
• 강한 베타-민 조건이 성립하지 않을 경우에도, 작은 계수를 가진 비충실 예시에서의 실험을 통해 방법이 효과적으로 유지됨을 입증하였다.