[논문 리뷰] Learning Gaussian Networks

Dan Geiger, David Heckerman|arXiv (Cornell University)|2013. 02. 27.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 다변량 정규분포 가정 하에 연속 변수를 가진 베이지안 네트워크를 학습하기 위한 스코어링 지표와 검색 절차를 제안한다. 이벤트 등가성과 매개변수 모odu리티를 활용하여, 사용자가 단 하나의 베이지안 네트워크를 지정함으로써 가우시안 네트워크의 사전 분포를 유도할 수 있으며, 기존 이산 변수 방법을 연속 영역으로 확장하여 원칙적인 베이지안 추론과 구조 학습을 가능하게 한다.

ABSTRACT

We describe algorithms for learning Bayesian networks from a combination of user knowledge and statistical data. The algorithms have two components: a scoring metric and a search procedure. The scoring metric takes a network structure, statistical data, and a user's prior knowledge, and returns a score proportional to the posterior probability of the network structure given the data. The search procedure generates networks for evaluation by the scoring metric. Previous work has concentrated on metrics for domains containing only discrete variables, under the assumption that data represents a multinomial sample. In this paper, we extend this work, developing scoring metrics for domains containing all continuous variables or a mixture of discrete and continuous variables, under the assumption that continuous data is sampled from a multivariate normal distribution. Our work extends traditional statistical approaches for identifying vanishing regression coefficients in that we identify two important assumptions, called event equivalence and parameter modularity, that when combined allow the construction of prior distributions for multivariate normal parameters from a single prior Bayesian network specified by a user.

연구 동기 및 목표

• 이산 변수 영역에서의 베이지안 네트워크 구조 학습을 연속 변수 영역으로 확장하기 위해.
• 사전 지식과 다변량 정규 데이터를 통합하는 스코어링 지표를 개발하기 위해.
• 다변량 정규 분포 매개변수에 대한 사전 분포를 구성하기 위한 이론적 기반—이벤트 등가성과 매개변수 모듈리티—를 확립하기 위해.
• 원칙적인 베이지안 스코어링을 통해 혼합 이산-연속 영역에서의 효율적인 구조 검색을 가능하게 하기 위해.
• 사라지는 계수를 식별하기 위한 전통적인 회귀 기반 방법을 전체 네트워크 구조 학습으로 일반화하기 위해.

제안 방법

• 데이터와 사전 지식을 바탕으로 네트워크 구조의 사후 확률을 계산하는 베이지안 스코어링 지표를 제안한다.
• 이벤트 등가성과 매개변수 모듈리티를 적용하여, 사용자가 지정한 단일 베이지안 네트워크에서 일관된 다변량 정규 분포 매개변수에 대한 사전 분포를 도출한다.
• 연속 변수 가정 하에 네트워크 구조를 평가하기 위해 다변량 정규 가능도를 사용한다.
• 조건부 독립 제약 조건과 매개변수 사전 분포를 통해 사용자가 지정한 사전 네트워크를 학습 과정에 통합한다.
• 제안된 스코어링 지표를 사용하여 후보 네트워크를 평가하고 높은 사후 확률을 가지는 구조를 식별하는 검색 절차를 구현한다.
• 매개변수 제약 조건을 통한 조건부 독립 관계 식별을 통해 고전적 회귀 기반 변수 선택을 전체 네트워크 구조 학습으로 확장한다.

실험 결과

연구 질문

• RQ1 연속 변수만을 포함하는 도메인에 대해 어떻게 베이지안 네트워크 구조 학습을 확장할 수 있는가?
• RQ2 가우시안 네트워크에서 다변량 정규 분포 매개변수에 대한 일관된 사전 분포를 확보하기 위해 어떤 가정이 필요한가?
• RQ3 사용자가 지정한 사전 지식은 어떻게 가우시안 네트워크 학습에 공식적으로 통합될 수 있는가?
• RQ4 이벤트 등가성과 매개변수 모듈리티는 어떻게 원칙적인 가우시안 네트워크 구조 스코어링을 가능하게 하는가?
• RQ5 제안된 방법은 연속 데이터에서 조건부 독립을 식별하기 위한 전통적인 회귀 기반 접근법과 어떻게 비교되는가?

주요 결과

• 제안된 스코어링 지표는 다변량 정규성 하에서 네트워크 구조의 사후 확률를 계산함으로써 연속 영역에서의 베이지안 구조 학습을 가능하게 한다.
• 이벤트 등가성과 매개변수 모듈리티는 사용자가 지정한 단일 베이지안 네트워크에서 다변량 정규 분포 매개변수에 대한 일관된 사전 분포를 도출할 수 있도록 한다.
• 이 방법은 기존의 사라지는 회귀 계수를 식별하기 위한 접근법을 전체 네트워크 구조 학습으로 일반화한다.
• 스코어링 지표를 다양한 변수 유형에 대해 일관되게 처리할 수 있도록 확장함으로써 혼합 이산-연속 영역에서의 학습을 지원한다.
• 사전 지식과 통계적 데이터를 통합하는 원칙적인 통합 방법을 제공하여 가우시안 네트워크에서의 구조 학습을 가능하게 한다.
• 이론적 기반은 스코어링 지표가 마르코프 등가성에 대해 불변임을 보장하여 강력한 구조 학습을 지원한다.