[논문 리뷰] Asymptotic Model Selection for Naive Bayesian Networks

Dmitry Rusakov, Dan Geiger|arXiv (Cornell University)|2012. 12. 12.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 38

한 줄 요약

이 논문은 두 개의 은닉 상태와 이진 특성을 가진 나이브 베이지안 네트워크에서의 주변 우도에 대한 폐쇄형 점근적 공식을 유도하며, 표준 BIC 점수가 이러한 모델에서 유효하지 않음을 입증한다. 이는 선형 또는 굴곡진 지수가족과는 대조적으로, 계층적 지수가족의 구조로 인해 발생한다. 주요 기여는 이러한 맥락에서 BIC의 한계를 보완하는 정밀한 점근적 근사이다.

ABSTRACT

We develop a closed form asymptotic formula to compute the marginal likelihood of data given a naive Bayesian network model with two hidden states and binary features. This formula deviates from the standard BIC score. Our work provides a concrete example that the BIC score is generally not valid for statistical models that belong to a stratified exponential family. This stands in contrast to linear and curved exponential families, where the BIC score has been proven to provide a correct approximation for the marginal likelihood.

연구 동기 및 목표

• 은닉 변수를 가진 나이브 베이지안 네트워크에서 모델 선택에 대한 BIC 점수의 타당성을 다루는 것.
• 선형 또는 굴곡진 가족과는 대조적으로, 계층적 지수가족에 속하는 모델에 대해 BIC 근사가 성립하는지 조사하는 것.
• 두 개의 은닉 상태와 이진 특성을 가진 특정 클래스의 나이브 베이지안 네트워크에서 주변 우도에 대한 폐쇄형 점근적 공식을 유도하는 것.
• BIC가 실패하는 구체적인 반례를 제시함으로써, 베이지안 네트워크의 구조 학습에서 BIC의 일반적 적용 가능성에 도전하는 것.

제안 방법

• 두 개의 은닉 상태와 이진 특성을 가진 나이브 베이지안 네트워크에서 대규모 표본 크기 조건 하에서 주변 우도의 점근적 근사를 유도한다.
• 모델이 정규성 조건을 위반하는 것으로 알려진 계층적 지수가족에 속한다고 분석한다.
• 두 번째 차수의 점근적 전개를 사용하여 주변 우도를 계산하며, BIC와 다름을 보이는 주요 항에 집중한다.
• 유도된 공식을 표준 BIC 점수와 비교하여, 모델의 계층적 성격으로 인한 구조적 차이를 규명한다.
• 점근적 통계 및 지수가족 이론 기법을 적용하여, 모델의 특이 구조를 반영한 폐쇄형 표현을 도출한다.

실험 결과

연구 질문

• RQ1 은닉 변수를 가진 나이브 베이지안 네트워크에 대해 BIC 점수가 주변 우도의 타당한 근사치를 제공하는가?
• RQ2 왜 BIC 점수는 계층적 지수가족에 속하는 모델에서조차 점근적으로 실패하는가?
• RQ3 두 개의 은닉 상태와 이진 특성을 가진 특정 클래스의 나이브 베이지안 네트워크에 대해 주변 우도에 대한 폐쇄형 점근적 공식을 도출할 수 있는가?
• RQ4 이 모델 클래스에서 점근적 주변 우도는 BIC 근사와 어떻게 다를까?

주요 결과

• 두 개의 은닉 상태와 이진 특성을 가진 나이브 베이지안 네트워크는 계층적 지수가족에 속하기 때문에 BIC 점수가 유효하지 않다.
• 유도된 주변 우도의 점근적 공식은 BIC 점수와 체계적으로 다름을 보이며, 이는 BIC가 이 설정에서 진짜 주변 우도를 과소 또는 과대평가한다는 것을 시사한다.
• 이 맥락에서 BIC의 실패 원인은 표준 BIC 유도 과정에서 가정하는 정규성 조건을 위반하는 모델의 특이 구조에 기인한다.
• 논문은 널리 사용되는 베이지안 네트워크 클래스에서 BIC가 심지어 점근적으로도 실패하는 구체적인 반례를 제시한다.