[논문 리뷰] Likelihoods and Parameter Priors for Bayesian Networks

David Heckerman, Dan Geiger|arXiv (Cornell University)|2021. 05. 13.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 10

한 줄 요약

이 논문은 가능도 등가성과 매개변수 독립성의 원리적 접근을 통해 베이지안 네트워크에서 가능도와 매개변수 사전분포를 구성하는 프레임워크를 개발한다. 이는 데이터와 전문 지식으로부터 효율적인 학습을 가능하게 한다. 주요 기여는 이러한 가정 하에서 디리클레 및 노멀-위샤르트 사전분포가 유일한 해로 특성화됨을 보여주며, 이는 이산 및 가우시안 네트워크에서 다변량 분포에 대한 통합적인 접근법을 제공한다.

ABSTRACT

We develop simple methods for constructing likelihoods and parameter priors for learning about the parameters and structure of a Bayesian network. In particular, we introduce several assumptions that permit the construction of likelihoods and parameter priors for a large number of Bayesian-network structures from a small set of assessments. The most notable assumption is that of likelihood equivalence, which says that data can not help to discriminate network structures that encode the same assertions of conditional independence. We describe the constructions that follow from these assumptions, and also present a method for directly computing the marginal likelihood of a random sample with no missing observations. Also, we show how these assumptions lead to a general framework for characterizing parameter priors of multivariate distributions.

연구 동기 및 목표

• 대규모의 베이지안 네트워크 구조에 대해 가능도와 매개변수 사전분포를 할당하기 위한 실용적인 방법을 개발하기 위해.
• 구조적 가정을 활용하여 사전분포 기술에 필요한 직접 평가 수를 줄이기 위해.
• 베이지안 네트워크에서 다변량 분포의 사전분포를 특성화하기 위한 일반적인 프레임워크를 제공하기 위해.
• 매개변수 사전분포가 구조적 등가성과 독립성 가정에 의해 유일하게 결정되는 조건을 정형화하기 위해.

제안 방법

• 같은 조건부 인적성 진술을 표현하는 네트워크 구조 간에는 데이터로 식별이 불가능하다는 가능도 등가성의 개념을 도입한다.
• 전역 및 국소적 매개변수 독립성을 적용하여 사전분포를 지배하는 함수방정식을 유도한다.
• 화살표 반전에 따른 자코비안 변환을 사용하여 등가 구조 간의 매개변수 분포를 연결한다.
• 결측 관측이 없는 데이터에 대해 구축된 사전분포를 사용하여 주변 가능도를 도출한다.
• 화살표 반전과 자코비안 변환에서 유도된 기능방정식의 해를 각각 이산 및 가우시안 선형 모델에서 디리클레 및 노멀-위샤르트 분포로 특성화한다.
• 가능도 등가성과 매개변수 독립성 하에서, 디리클레 및 노멀-위샤르트와 같은 특정 사전분포 가족만이 제약 조건을 만족함을 입증한다.

실험 결과

연구 질문

• RQ1 대규모의 베이지안 네트워크 구조 집합에서 직접 평가를 최소화하면서 가능도와 매개변수 사전분포를 일관되게 할당할 수 있는 방법은 무엇인가?
• RQ2 다변량 분포의 사전분포를 고유하게 특성화하는 데로 이르는 가정은 무엇인가?
• RQ3 가능도 등가성이 이산 및 가우시안 네트워크에서 매개변수 사전분포의 형태를 어떻게 제약하는가?
• RQ4 가능도 등가성과 매개변수 독립성을 결합했을 때 유도되는 기능방정식은 무엇이며, 그 해는 무엇인가?
• RQ5 가능도 등가성과 매개변수 독립성의 가정을 완화할 경우 사전분포 특성화가 유지되는가?

주요 결과

• 가능도 등가성과 매개변수 독립성은 이산 베이지안 네트워크의 사전분포로 디리클레 분포를 유일하게 특성화한다.
• 선형-가우시안 네트워크에서는 동일한 가정 하에 노멀-위샤르트 분포가 유일한 해이며, 공동 매개변수에 대해 이변량 노멀-위샤르트 사전분포가 적용된다.
• 화살표 반전과 자코비안 변환에서 유도된 기능방정식의 해는 특정한 사전분포 가족에 대해서만 존재하며, 이는 그들의 유일성을 확인한다.
• 결측 관측이 없는 데이터 세트의 주변 가능도는 전체 통합 없이도 사전분포와 가능도 구조로부터 직접 계산할 수 있다.
• 이 가정들은 이산 케이스에서는 모든 변수에 대해 유일한 효과적 표본 크기, 가우시안 케이스에서는 두 개의 효과적 표본 크기를 암시하며, 이는 실제 응용에서 현실성에 제한을 줄 수 있다.