[논문 리뷰] Structured Priors for Structure Learning

Vikash K. Mansinghka, Charles Kemp외 2명|arXiv (Cornell University)|2012. 06. 27.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 13

한 줄 요약

이 논문은 변수를 클래스로 그룹화함으로써 구조적 사전분포를 베이지안 네트워크 구조 학습에 통합하는 비모수 베이지안 모델을 제안한다. 여기서 간선 확률은 오직 클래스 간 관계에 의존한다. MCMC 추론을 사용하여 네트워크 구조, 클래스 할당, 클래스 수를 동시에 학습함으로써, 균일한 사전분포에 비해 작은 희박한 데이터셋에서 정확도를 크게 향상시킨다. 이는 체계적인 의존성 패턴을 활용하기 때문이다.

ABSTRACT

Traditional approaches to Bayes net structure learning typically assume little regularity in graph structure other than sparseness. However, in many cases, we expect more systematicity: variables in real-world systems often group into classes that predict the kinds of probabilistic dependencies they participate in. Here we capture this form of prior knowledge in a hierarchical Bayesian framework, and exploit it to enable structure learning and type discovery from small datasets. Specifically, we present a nonparametric generative model for directed acyclic graphs as a prior for Bayes net structure learning. Our model assumes that variables come in one or more classes and that the prior probability of an edge existing between two variables is a function only of their classes. We derive an MCMC algorithm for simultaneous inference of the number of classes, the class assignments of variables, and the Bayes net structure over variables. For several realistic, sparse datasets, we show that the bias towards systematicity of connections provided by our model yields more accurate learned networks than a traditional, uniform prior approach, and that the classes found by our model are appropriate.

연구 동기 및 목표

• 기존의 베이지안 네트워크 구조 학습 방식이 희박성 외에 체계적인 의존성 구조를 고려하지 않는 한계를 해결하기 위해.
• 실세계 시스템에서 확률적 의존성을 예측할 수 있는 변수 그룹화에 관한 도메인 지식을 통합하기 위해.
• 작은 데이터셋으로부터 클래스 수, 클래스 할당, 네트워크 구조를 동시에 추론할 수 있는 비모수 생성 모델을 개발하기 위해.
• 클래스 기반 사전분포를 통해 간선 형성의 체계성을 표현함으로써 유형 탐지와 더 정확한 구조 학습을 가능하게 하기 위해.

제안 방법

• 변수들이 클래스에 할당되며, 두 변수 간 간선의 사전 확률이 오직 그들의 클래스에 의존하는 계층적 베이지안 모델을 제안한다.
• 모르게도 무한한 수의 클래스를 허용할 수 있는 비모수 사전분포(특히 딜레트 프로세스 혼합)를 사용한다.
• 간선 존재 여부가 클래스 수준의 파rameter에 의해 확률적으로 결정되는 방향 비순환 그래프(DAGs)의 생성 과정을 정의한다.
• 메트로폴리스-해스팅스 MCMC 알고리즘을 사용하여 동시에 추론: (1) 변수의 클래스 할당, (2) 클래스 수, (3) DAG 구조.
• 다양한 수의 클래스와 변수 할당을 탐색하기 위해 가역 이동(MCMC) 이동을 구현한다.
• 간선 확률이 클래스 수준의 친화도 행렬에 의해 결정되는 조건부 확률 모델을 정의함으로써 체계적인 의존성 패턴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 균일한 사전분포에 비해 변수의 클래스 기반 구조적 사전분포가 작은 데이터셋에서 베이지안 네트워크 구조 학습을 얼마나 향상시키는가?
• RQ2 모델은 데이터로부터 의미 있고 해석 가능한 변수의 클래스를 얼마나 잘 탐지할 수 있는가?
• RQ3 클래스 기반 간선 사전분포의 포함이 기존의 희박성 전용 가정보다 더 정확한 네트워크 구조를 도출하는가?
• RQ4 모델의 비모수적 성격은 사전 지정 없이 진정한 클래스 수에 얼마나 잘 적응할 수 있는가?
• RQ5 모델은 일관되고 확률론적인 프레임워크 내에서 동시에 클래스 수와 네트워크 구조를 추론할 수 있는가?

주요 결과

• 제안된 모델은 균일한 사전분포 기반 기준선에 비해 여러 가지 현실적인 희박한 데이터셋에서 구조 복원 정확도가 유의미하게 높다.
• 모델은 도메인 기대와 일치하는 의미 있고 해석 가능한 변수의 클래스를 성공적으로 탐지하여 효과적인 유형 탐지 능력을 입증한다.
• 구조적 사전분포 하에서 추론은 데이터가 제한된 경우 더욱 안정적이고 타당한 네트워크 구조를 도출한다.
• 비모수적 성격 덕분에 수동으로 지정할 필요 없이 최적의 클래스 수를 자동으로 결정할 수 있다.
• MCMC 추론 절차는 클래스 할당, 클래스 수, DAG 구조의 공동 공간을 효과적으로 탐색하여 일관되고 고품질의 사후 표본을 도출한다.