[논문 리뷰] Learning Mixtures of DAG Models

Bo Thiesson, Christopher Meek외 2명|arXiv (Cornell University)|2013. 01. 30.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 58

한 줄 요약

이 논문은 Cheeseman-Stutz 渐近적 모델 사후확률과 EM 알고리즘을 조합한 근사법을 사용하여 매개변수와 구조 탐색을 번갈아가며, 계산적으로 효율적인 혼합 방향 비순환 그래프 모델(MDAG) 학습 방법을 제안한다. 이 방법은 기대 데이터를 실재 데이터로 간주함으로써 고차원 설정에서도 실현 가능한 학습을 가능하게 하며, 시뮬레이션 및 실세계 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

We describe computationally efficient methods for learning mixtures in which each component is a directed acyclic graphical model (mixtures of DAGs or MDAGs). We argue that simple search-and-score algorithms are infeasible for a variety of problems, and introduce a feasible approach in which parameter and structure search is interleaved and expected data is treated as real data. Our approach can be viewed as a combination of (1) the Cheeseman--Stutz asymptotic approximation for model posterior probability and (2) the Expectation--Maximization algorithm. We evaluate our procedure for selecting among MDAGs on synthetic and real examples.

연구 동기 및 목표

• 표준 검색-점수 알고리즘의 계산 복잡도로 인해 혼합 DAG 모델 학습이 비현실적이 되는 문제를 해결하기 위해.
• MDAG에서 매개변수 학습과 구조 학습을 번갈아가며 수행하는 확장 가능한 방법을 개발하기 위해.
• Cheeseman-Stutz 渐近 공식을 사용하여 모델 사후확률을 근사함으로써 MDAG의 실용적 학습을 가능하게 하기 위해.
• 모델 선택을 위한 성능 평가를 시뮬레이션 데이터와 실세계 데이터 모두에서 수행하기 위해.
• 고차원 DAG 혼합 학습에서 전수 탐색의 실현 가능한 대안을 제공하기 위해.

제안 방법

• 이 방법은 모델 사후확률에 대한 Cheeseman-Stutz 渐近 근사법과 기대값 최대화(EM) 알고리즘을 결합한다.
• E단계에서 산출된 기대 충분통계량을 M단계에서 실재 데이터로 간주함으로써 매개변수와 구조 최적화를 반복적으로 수행할 수 있도록 한다.
• 매개변수 학습은 기대 데이터 기반 최대우도 추정법을 사용하고, 구조 학습은 점수 기반 탐색을 활용한다.
• 알고리즘은 현재 모델 하에서 기대 충분통계량을 계산하는 E단계와 매개변수 및 DAG 구조를 갱신하는 M단계를 번갈아 수행한다.
• 전체 베이지안 모델 평균화를 피하기 위해 계산 비용을 줄이기 위해 渐近 근사를 사용한다.
• 이 방법은 이산 및 연속 DAG 모델 모두를 지원하며, BIC 또는 유사 점수 기준에 따라 학습이 이뤄진다.

실험 결과

연구 질문

• RQ1 표준 검색-점수 접근 방식이 비현실적이 되는 상황에서, 혼합 DAG 모델 학습을 위한 계산적으로 효율적인 방법을 개발할 수 있는가?
• RQ2 MDAG에서 매개변수 학습과 구조 학습을 효과적으로 번갈아 수행하여 확장성을 향상시킬 수 있는가?
• RQ3 Cheeseman-Stutz 근사법과 EM의 조합이 MDAG에서의 모델 선택에 얼마나 기여하는가?
• RQ4 기본 알려진 구조를 가진 시뮬레이션 데이터에서 제안된 방법은 기준 방법에 비해 어떻게 성능을 발휘하는가?
• RQ5 이 방법은 복잡하고 이질적인 의존관계를 가진 실세계 데이터셋에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 시뮬레이션 데이터셋에서 경쟁적인 모델 선택 성능을 달성하여, 높은 정확도로 기저의 혼합 성분을 정확히 식별한다.
• 표준 검색-점수 알고리즘이 계산적으로 금기되는 고차원 문제에 대해서도 효과적으로 스케일링된다.
• 기대 데이터를 실재 데이터로 간주함으로써 계산 오버헤드를 크게 줄이고 모델 품질을 유지한다.
• Cheeseman-Stutz 근사법과 EM의 조합은 MDAG 매개변수 및 구조의 반복적 학습에서 안정적인 수렴을 가능하게 한다.
• 실세계 데이터에 대한 실증 평가 결과, 방법은 데이터의 기저 서브집단을 반영하는 의미 있고 해석 가능한 혼합 성분을 식별한다.
• 기준 방법에 비해 벤치마크 데이터셋에서 계산 효율성과 모델 선택 정확도 측면에서 모두 우수한 성능을 발휘한다.