[논문 리뷰] Inference in Hybrid Bayesian Networks Using Mixtures of Gaussians

Prakash P. Shenoy|arXiv (Cornell University)|2012. 06. 27.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 9

한 줄 요약

이 논문은 일반적인 하이브리드 베이지안 네트워크(이중으로 이산 및 연속 변수를 포함하는 네트워크)에서 정확한 추론을 위해 혼합 정규분포(MoG)로 근사하는 방법을 제안한다. 변환 기법을 사용하여 원래로 MoG 네트워크에만 적용 가능한 빠른 Lauritzen-Jensen 알고리즘을 비정규분포 연속 변수, 비선형 종속성, 조건부 분산을 포함한 더 넓은 범위의 하이브리드 네트워크에 적용할 수 있도록 한다.

ABSTRACT

The main goal of this paper is to describe a method for exact inference in general hybrid Bayesian networks (BNs) (with a mixture of discrete and continuous chance variables). Our method consists of approximating general hybrid Bayesian networks by a mixture of Gaussians (MoG) BNs. There exists a fast algorithm by Lauritzen-Jensen (LJ) for making exact inferences in MoG Bayesian networks, and there exists a commercial implementation of this algorithm. However, this algorithm can only be used for MoG BNs. Some limitations of such networks are as follows. All continuous chance variables must have conditional linear Gaussian distributions, and discrete chance nodes cannot have continuous parents. The methods described in this paper will enable us to use the LJ algorithm for a bigger class of hybrid Bayesian networks. This includes networks with continuous chance nodes with non-Gaussian distributions, networks with no restrictions on the topology of discrete and continuous variables, networks with conditionally deterministic variables that are a nonlinear function of their continuous parents, and networks with continuous chance variables whose variances are functions of their parents.

연구 동기 및 목표

• 기존 정확한 추론 방법이 하이브리드 베이지안 네트워크에서 연속 변수를 선형 정규분포로 제한하는 한계를 해결한다.
• 비정규분포 연속 변수, 비선형 조건부 종속성, 조건부 분산을 포함한 네트워크에서 정확한 추론을 가능하게 한다.
• 기본 MoG 네트워크에서 이산 노드가 연속 부모를 가질 수 없는 제약 조건을 극복한다.
• 효율적이지만 MoG 구조에 국한되는 Lauritzen-Jensen 알고리즘의 적용 범위를 더 일반적인 하이브리드 네트워크 구조로 확장한다.
• 실제 세계의 하이브리드 베이지안 네트워크에 대해 상용 LJ 알고리즘 구현을 보다 넓은 범위로 활용할 수 있는 실용적 프레임워크를 제공한다.

제안 방법

• 일반적인 하이브리드 베이지안 네트워크를 혼합 정규분포(MoG) 표현으로 근사하여 정확한 추론을 가능하게 한다.
• 변수 변환과 조건부 밀도 근사 기법을 통해 원래 하이브리드 네트워크를 등가의 MoG 네트워크로 변환한다.
• 결과로 얻어진 MoG 네트워크에서 Lauritzen-Jensen(LJ) 알고리즘을 사용하여 정확한 추론을 수행하며, 이는 계산 효율성을 확보한다.
• 비정규분포 연속 변수는 조건부 분포를 혼합 정규분포 성분으로 근사하여 처리한다.
• 조건부 결정론적 변수는 연속 부모에 대한 비선형 함수로 모델링하며, 이를 MoG 근사 프레임워크에 통합한다.
• 부모 변수에 따라 변하는 분산을 갖는 연속 변수는 MoG 구조 내에 이러한 종속성을 통합하여 모델의 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 기존의 효율적 알고리즘을 사용하여 비정규분포 연속 변수를 포함한 하이브리드 베이지안 네트워크에서 정확한 추론을 수행할 수 있는가?
• RQ2 Lauritzen-Jensen 알고리즘이 연속 변수 간 비선형 종속성이 있는 네트워크로 어떻게 확장될 수 있는가?
• RQ3 이산 노드가 연속 부모를 가질 수 있도록 MoG 추론 프레임워크 내에서 처리할 수 있는 변환 기법은 무엇인가?
• RQ4 부모 변수에 따라 달라지는 조건부 분산은 MoG 근사 내에서 어느 정도까지 모델링될 수 있는가?
• RQ5 일반적인 하이브리드 베이지안 네트워크는 정확하고 효율적으로 혼합 정규분포로 근사될 수 있는가?

주요 결과

• 제안된 방법은 전통적인 MoG 네트워크의 범위를 초월한 하이브리드 베이지안 네트워크에서 정확한 추론을 가능하게 한다.
• 비정규분포 조건부 분포를 갖는 연속 변수는 혼합 정규분포로 근사함으로써 성공적으로 처리된다.
• 비선형 조건부 종속성은 MoG 근사 프레임워크를 통해 효과적으로 모델링된다.
• 이 방법은 표준 MoG 네트워크에서 지원되지 않는 이산 노드가 연속 부모를 가질 수 있도록 한다.
• 부모 변수에 따라 변하는 분산을 갖는 연속 변수는 MoG 구조에 통합되어 모델의 정확성을 유지한다.
• 변환된 MoG 네트워크에서 Lauritzen-Jensen 알고리즘을 사용함으로써 계산 효율성과 정확한 추론 결과를 동시에 확보한다.