[논문 리뷰] Efficient Approximations for the Marginal Likelihood of Incomplete Data Given a Bayesian Network

David Maxwell Chickering, David Heckerman|arXiv (Cornell University)|2013. 02. 13.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 56

한 줄 요약

이 논문은 베이지안 네트워크에서 부족한 데이터의 주변 가능도에 대한 渐近 근사법을 평가하며, 라플라스 근사, BIC/MDL, 그리고 덜 연구된 두 가지 방법(드레이퍼 및 CS)을 비교한다. 이산적 나이브 베이즈 모델에서 유도된 시뮬레이션 데이터를 사용하여, CS 측도가 계산 효율성을 유지하면서도 가장 정확한 근사치를 제공함을 발견하였으며, 라플라스를 기준 기준으로 삼을 경우 BIC/MDL 및 기타 대안들보다 정확도에서 뛰어나다.

ABSTRACT

We discuss Bayesian methods for learning Bayesian networks when data sets are incomplete. In particular, we examine asymptotic approximations for the marginal likelihood of incomplete data given a Bayesian network. We consider the Laplace approximation and the less accurate but more efficient BIC/MDL approximation. We also consider approximations proposed by Draper (1993) and Cheeseman and Stutz (1995). These approximations are as efficient as BIC/MDL, but their accuracy has not been studied in any depth. We compare the accuracy of these approximations under the assumption that the Laplace approximation is the most accurate. In experiments using synthetic data generated from discrete naive-Bayes models having a hidden root node, we find that the CS measure is the most accurate.

연구 동기 및 목표

• 부족한 데이터에서 베이지안 네트워크의 주변 가능도에 대한 다양한 渐近 근사법의 정확도를 평가하기 위해.
• 기존의 근사법인 BIC/MDL 및 라플라스와 비교하여 덜 연구된 대안인 드레이퍼(1993) 및 씨즈먼-슈츠(CS)의 계산 효율성과 정확도를 비교하기 위해.
• 부족한 데이터에서 베이지안 네트워크를 학습할 때 정확도와 계산 비용 간의 최적 균형을 제공하는 근사법을 규명하기 위해.
• 라플라스 근사가 가장 정확한 기준점으로 간주될 때, 이러한 근사법들의 성능을 평가하기 위해.

제안 방법

• 저자들은 부족한 데이터 시나리오를 시뮬레이션하기 위해 은닉 루트 노드를 가진 이산적 나이브 베이즈 모델에서 유도된 시뮬레이션 데이터를 사용한다.
• 네 가지 근사법을 적용한다: 라플라스(기준으로 간주됨), BIC/MDL, 드레이퍼(1993), 씨즈먼-슈츠(CS)를 사용하여 주변 가능도를 추정한다.
• 정확도는 각 근사법의 추정치를 기준으로 간주되는 라플라스 근사와 비교하여 평가한다.
• 다양한 수준의 누락 데이터와 네트워크 구조를 가진 여러 시뮬레이션 데이터셋을 통해 비교를 수행한다.
• CS 측도는 베이지안 모델 평균화 접근법에서 유도되며, 정확도를 유지하면서도 계산 효율성을 확보하도록 설계되어 있다.
• 실험은 UAI 1996 벤치마크 프레임워크를 사용하여 수행되었으며, 일관성과 정밀도를 분석하여 결과를 분석한다.

실험 결과

연구 질문

• RQ1 부족한 데이터에서 베이지안 네트워크의 주변 가능도에 대한 어떤 渐近 근사법이 정확도와 계산 효율성의 최적 균형을 제공하는가?
• RQ2 라플라스 근사가 기준점으로 사용될 경우, 씨즈먼-슈츠(CS) 측도의 정확도는 BIC/MDL 및 드레이퍼(1993)와 비교하여 어떻게 되는가?
• RQ3 CS 근사법은 데이터 부족 수준과 네트워크 복잡도가 다양할 경우에도 높은 정확도를 유지하는가?
• RQ4 드레이퍼 및 CS와 같은 덜 연구된 근사법들은 유사한 계산 비용에도 불구하고 BIC/MDL보다 유의미하게 정확도가 높은가?

주요 결과

• 라플라스 근사가 가장 정확하다고 가정할 때, CS 측도는 BIC/MDL 및 드레이퍼(1993)보다 정확도에서 뛰어나게 일관되게 우월하다.
• 모든 테스트된 근사법들 중에서, CS 측도는 여러 시뮬레이션 데이터셋에서 라플라스 주변 가능도에 가장 가까운 추정치를 제공한다.
• BIC/MDL 근사법은 계산 효율성은 높지만, CS 측도와 라플라스 근사보다 정확도가 떨어진다.
• 드레이퍼(1993) 근사법은 중간 정도의 정확도를 보이지만, 모든 테스트 시나리오에서 CS 측도에 뒤지게 된다.
• CS 측도는 높은 수준의 데이터 부족 상황에서도 높은 정확도를 유지하여, 누락 데이터에 대한 강건성을 보여준다.
• 결과는 CS 근사법이 부족한 데이터를 가진 베이지안 네트워크의 구조 학습에 매우 강력한 후보임을 시사한다.