[논문 리뷰] Mixture Approximations to Bayesian Networks

Volker Tresp, Michael Haft외 1명|arXiv (Cornell University)|2013. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 5

한 줄 요약

이 논문은 베이지안 네트워크의 혼합 근사 방법을 제안하며, 각 구성 밀도가 도메인 내 일반적인 시나리오를 포착하도록 공동 확률 분포를 구성 밀도의 조합으로 표현한다. 평균 제곱오차 손실 함수를 사용함으로써, 접합수 나무 알고리즘을 통한 효율적 추론이 가능해지며, 복잡한 의존성에 대한 직관적인 통찰을 유지하면서도 추론이 가능성이 있는 네트워크에 대해 계산적으로 타당한 해법을 제공한다.

ABSTRACT

Structure and parameters in a Bayesian network uniquely specify the probability distribution of the modeled domain. The locality of both structure and probabilistic information are the great benefits of Bayesian networks and require the modeler to only specify local information. On the other hand this locality of information might prevent the modeler - and even more any other person - from obtaining a general overview of the important relationships within the domain. The goal of the work presented in this paper is to provide an "alternative" view on the knowledge encoded in a Bayesian network which might sometimes be very helpful for providing insights into the underlying domain. The basic idea is to calculate a mixture approximation to the probability distribution represented by the Bayesian network. The mixture component densities can be thought of as representing typical scenarios implied by the Bayesian model, providing intuition about the basic relationships. As an additional benefit, performing inference in the approximate model is very simple and intuitive and can provide additional insights. The computational complexity for the calculation of the mixture approximations criticaly depends on the measure which defines the distance between the probability distribution represented by the Bayesian network and the approximate distribution. Both the KL-divergence and the backward KL-divergence lead to inefficient algorithms. Incidentally, the latter is used in recent work on mixtures of mean field solutions to which the work presented here is closely related. We show, however, that using a mean squared error cost function leads to update equations which can be solved using the junction tree algorithm. We conclude that the mean squared error cost function can be used for Bayesian networks in which inference based on the junction tree is tractable. For large networks, however, one may have to rely on mean field approximations.

연구 동기 및 목표

• 베이지안 네트워크에 암묵적으로 포함된 지식을 대체할 수 있고, 이해하기 쉬운 시각으로 표현하기 위해 그 공동 확률 분포를 근사하는 것.
• 베이지안 네트워크의 구조와 매개변수에 암묵적으로 포함된 데이터 내 일반적인 시나리오나 패턴을 식별하는 것.
• 추론과 모델의 이해 가능성을 지원하는 계산적으로 효율적인 혼합 근사 방법을 개발하는 것.
• 혼합 근사에서 KL 발산과 역방향 KL 발산의 한계를 극복하기 위해 더 계산 가능성이 높은 손실 함수를 제안하는 것.
• 접합수 나무 추론이 가능한 곳에서 혼합 근사가 실용적으로 적용될 수 있도록 하는 것.

제안 방법

• 이 방법은 진정한 확률 분포를 혼합 구성 밀도로 근사하기 위해 평균 제곱오차(MSE) 손실 함수를 사용한다.
• 혼합 구성 요소는 진정한 분포와 근사 혼합 분포 간의 MSE를 최소화함으로써 학습된다.
• 최적화 과정은 접합수 나무 알고리즘과 호환되는 업데이트 식을 도출하여, 추론이 가능한 네트워크에서 효율적인 계산을 가능하게 한다.
• 알고리즘은 국소적 조건부 독립 구조를 활용하여 반복적으로 혼합 구성 요소와 그 가중치를 개선함으로써 MSE를 최소화한다.
• KL 발산 기반 방법과 대비하여, 이는 계산적으로 비가능한 업데이트 규칙을 초래한다.
• 접합수 나무 추론이 비가능한 큰 네트워크의 경우, 확장 가능한 대안으로 평균 필드 근사를 활용할 것을 제안한다.

실험 결과

연구 질문

• RQ1 베이지안 네트워크의 공동 분포에 대한 혼합 근사가 도메인 관계의 본질을 이해하는 데 직관적인 통찰을 제공할 수 있는가?
• RQ2 어떤 손실 함수가 혼합 근사에서 계산 효율성과 구성 요소의 의미 있는 해석 가능성을 동시에 보장하는가?
• RQ3 평균 제곱오차 손실 함수는 계산 가능성과 모델 정확도 측면에서 KL 발산과 어떻게 비교되는가?
• RQ4 어떤 종류의 베이지안 네트워크에서 제안된 혼합 근사 방법이 계산적으로 타당한가?
• RQ5 혼합 구성 요소가 데이터 내 일반적인 시나리오나 패턴으로 해석될 수 있으며, 이는 모델의 이해 가능성을 향상시키는가?

주요 결과

• 평균 제곱오차 손실 함수는 접합수 나무 알고리즘과 호환되는 업데이트 식을 도출하여, 추론이 가능한 베이지안 네트워크에서 효율적인 계산을 가능하게 한다.
• KL 발산과 역방향 KL 발산은 계산적으로 비가능한 알고리즘을 초래하지만, MSE 기반 접근법은 실용적인 구현을 가능하게 한다.
• 혼합 구성 요소는 베이지안 네트워크가 암시하는 일반적인 시나리오로 해석될 수 있으며, 도메인 관계에 대한 직관적인 이해를 제공한다.
• 근사 혼합 모델에서의 추론은 단순하고 직관적이며, 원래 네트워크를 넘어서 추가적인 통찰을 제공한다.
• 접합수 나무 추론이 비가능한 큰 네트워크의 경우, 확장 가능한 대안으로 평균 필드 근사를 사용할 것을 제안한다.
• 이 방법은 추론이 가능한 경우 계산 효율성을 포기하지 않은 채로 베이지안 네트워크 지식에 대한 타당한 대안적 시각을 제공하며, 이해 가능성을 향상시킨다.