[논문 리뷰] Kullback Leibler Divergence for Bayesian Networks with Complex Mean Structure

Jessica Kasza, Patricia Solomon|arXiv (Cornell University)|2010. 09. 08.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 2

한 줄 요약

이 논문은 외생 변수와 랜덤 효과를 포함한 베이지안 네트워크를 추정하기 위해 완전 베이지안 접근법과 잔차 접근법을 비교한다. 사후 분포의 차이를 측정하기 위해 쿨백-라이블러 발산을 사용하여, 외생 변수가 주요 관심사가 아닐 경우 잔차 접근법이 보다 단순하며 최소한의 정보 손실을 초래함을 보여준다.

ABSTRACT

In this paper, we compare the performance of two methods for estimating Bayesian networks from data containing exogenous variables and random effects. The first method is fully Bayesian in which a prior distribution is placed on the exogenous variables, whereas the second method, which we call the residual approach, accounts for the effects of exogenous variables by using the notion of restricted maximum likelihood. We review the two score-based metrics, then study their performance by measuring the Kullback Leibler divergence, or distance, between the two resulting posterior density functions. The Kullback Leibler divergence provides a natural framework for comparing distributions. The residual approach is considerably simpler to apply in practice and we demonstrate its utility both theoretically and via simulations. In particular, in applications where the exogenous variables are not of primary interest, we show that the potential loss of information about parameters and induced components of correlation, is generally small.

연구 동기 및 목표

• 외생 변수와 랜덤 효과를 포함한 베이지안 네트워크의 추정 방법을 평가하고 비교하는 것.
• 외생 변수의 파라미터를 忽시할 경우 네트워크 구조와 상관 성분에 미치는 영향을 평가하는 것.
• 제한 최대우도 기반의 잔차 접근법이 완전 베이지안 방법과 유사한 성능을 보이는지 확인하는 것.
• 외생 변수가 주요 관심사가 아닐 경우 실무에서 잔차 접근법을 사용할 수 있는 이론적 및 실증적 근거를 제공하는 것.

제안 방법

• 외생 변수에 사전 분포를 부여하여 완전 베이지안 프레임워크를 적용하여 네트워크 파라미터를 추정한다.
• 외생 변수를 랜덤 변수로 모델링하지 않고도 그 영향을 반영하기 위해 제한 최대우도를 사용하는 잔차 접근법을 적용한다.
• 네트워크 구조 및 파라미터 추정 성능 평가를 위해 점수 기반 지표를 사용한다.
• 두 방법의 사후 분포 간 쿨백-라이블러 발산을 측정하여 차이를 정량화한다.
• 정규성 및 랜덤 효과 가정 하에 잔차 접근법의 이론적 성질을 도출한다.
• 다양한 네트워크 구조와 데이터 구성에서 두 방법을 비교하기 위해 시뮬레이션을 실시한다.

실험 결과

연구 질문

• RQ1 잔차 접근법이 베이지안 네트워크 구조 추정에서 완전 베이지안 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ2 제한 최대우도를 통해 외생 변수를 고정 효과로 취급하는 것과 그들에게 사전분포를 할당하는 것의 영향은 무엇인가?
• RQ3 완전 베이지안 방법 대비 잔차 접근법을 사용할 경우 파라미터 추정과 상관 구조에서 얼마나 많은 정보가 손실되는가?
• RQ4 어떤 조건에서 잔차 접근법이 완전 베이지안 추정의 타당하고 실용적인 대안이 되는가?

주요 결과

• 쿨백-라이블러 발산으로 측정한 결과, 잔차 접근법이 완전 베이지안 방법과 유사한 사후 분포를 도출한다.
• 잔차 방법은 완전 베이지안 방법보다 구현이 훨씬 단순하고 계산적으로 더 효율적이다.
• 외생 변수가 주요 관심사가 아닐 경우, 파라미터 추정과 상관 구조에서의 정보 손실은 일반적으로 미미하다.
• 이론적 분석은 정규성 가정과 랜덤 효과 구조 하에서 잔차 접근법의 타당성을 뒷받침한다.
• 시뮬레이션 결과는 잔차 접근법이 네트워크 구조 복원과 파라미터 정확도 측면에서 양호한 성능을 유지함을 확인한다.
• 쿨백-라이블러 발산은 두 사후 분포를 비교하고 방법론적 트레이드오프를 평가하는 데 신뢰할 수 있는 지표로 기능한다.