[논문 리뷰] An asymptotic approximation of the marginal likelihood for general Markov models

Piotr Zwiernik|arXiv (Cornell University)|2010. 12. 03.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 3

한 줄 요약

이 논문은 뿌리가 있는 이진 트리에서 은닉 변수를 가진 일반 마르코프 모델에 대해 실 로그-정준 임계값을 사용하여 일반 모델을 초월해 BIC 점수를 일반화하는 경계 확률의 渐近 근사값을 유도한다. 주요 결과는 BIC 근사에서 로그-N 펜alties가 트리의 잎의 수, 두 번째 차수의 내부 노드 수, 세 번째 차수의 내부 노드 수에 의해 결정되며, 루트가 비퇴화된 내부 노드일 경우 보정 항이 추가된다는 것이다.

ABSTRACT

The standard Bayesian Information Criterion (BIC) is derived under regularity conditions which are not always satisfied by the graphical models with hidden variables. In this paper we derive the BIC score for Bayesian networks in the case of binary data and when the underlying graph is a rooted tree and all the inner nodes represent hidden variables. This provides a direct generalization of a similar formula given by Rusakov and Geiger for naive Bayes models. The main tool used in this paper is a connection between asymptotic approximation of Laplace integrals and the real log-canonical threshold.

연구 동기 및 목표

• 은닉 변수가 있는 일반 마르코프 모델에 대해 베이지안 정보 기준(BIC)을 정규 모델을 초월해 확장하기 위해.
• 이상적인 최대우도점이 존재하지 않는 모델, 예를 들어 은닉 노드가 있는 트리형 베이지안 네트워크에서 표준 BIC가 실패하는 문제를 다루기 위해.
• 실 정준 임계값과 라플라스 적분의 渐近적 분석을 사용하여 경계 확률의 정밀한 渐近 근사값을 수립하기 위해.
• 트리의 구조, 특히 잎의 수, 두 번째 차수의 내부 노드 수, 세 번째 차수의 내부 노드 수가 경계 확률의 펜alty 항에 어떻게 영향을 미치는지 규명하기 위해.
• 다중도가 1을 초과할 경우 추가적인 log log N 항이 渐近 전개에 나타나는 조건을 유도하기 위해.

제안 방법

• 특이 통계 모델에서의 경계 확률을 분석하기 위해 渐近 라플라스 적분 근사법을 사용한다.
• 최대우도점이 특이점인 경우 경계 확률의 渐近적 행동을 특성화하기 위해 실 정준 임계값(RLCT) 이론을 적용한다.
• 모든 내부 노드가 관측되지 않은 뿌리가 있는 이진 트리에서 일반 마르코프 과정을 모델링하며, 관측된 잎 변수의 분포에 집중한다.
• 두 개의 잎이 노드에 의해 분리될 때 그 간의 모든 상관계수가 0이 되는 내부 노드를 퇴화된 내부 노드로 정의하고, 이를 통해 트리의 구조를 분류한다.
• 부분 트리로 분해하여 모델 이상수의 RLCT를 유도하고, 대수기하학과 특이점 이론의 결과를 적용한다.
• 수식 $ Z(N) = \tilde{\theta}_N - \frac{1}{4}(3n + l_2 + 5l_3)\text{log}N + O(1) $ 를 사용하며, 루트가 비퇴화된 경우 보정이 추가되고, 다중도가 1을 초과할 경우 $ (m-1)\text{log log}N $ 항이 포함된다.

실험 결과

연구 질문

• RQ1 뿌리가 있는 트리에서 은닉 변수를 가진 일반 마르코프 모델에서 경계 확률은 어떻게 渐近적으로 행동하는가?
• RQ2 최대우도점이 특이점인 경우, 예를 들어 은닉 노드가 있는 트리 모델에서 BIC 근사의 정확한 형태는 무엇인가?
• RQ3 트리의 내부 노드 수와 종류(차수 2, 3)가 경계 확률 근사에서 로그-N 펜alty에 어떻게 영향을 미치는가?
• RQ4 경계 확률의 渐近 전개에 추가적인 $ \text{log log}N $ 항이 나타나는 조건은 무엇인가?
• RQ5 관측된 표본 공분산 행렬의 구조(특히 0 요소)가 이러한 모델에서 경계 확률의 渐近 행동을 완전히 결정할 수 있는가?

주요 결과

• 경계 확률의 渐近 근사값은 $ Z(N) = \tilde{\theta}_N - \frac{1}{4}(3n + l_2 + 5l_3)\text{log}N + O(1) $ 로 주어지며, 여기서 $ n $ 은 잎의 수, $ l_2 $ 는 두 번째 차수의 내부 노드 수, $ l_3 $ 은 세 번째 차수의 내부 노드 수이다.
• 루트 노드가 비퇴화된 내부 노드일 경우, 펜alty 항은 $ \frac{1}{4}(3n + l_2 + 5l_3 - 1)\text{log}N $ 로 수정되어 구조적 보정을 반영한다.
• 루트가 퇴화되고 모든 이웃 노드도 퇴화되어 있다면, 특이점의 다중도는 1이며 추가적인 $ \text{log log}N $ 항이 나타나지 않는다.
• 특이점의 다중도가 1을 초과할 경우, 渐近 전개에 추가적인 $ (m-1)\text{log log}N $ 항이 포함되며, $ m \neq 1 $ 이면 모델 선택에 영향을 준다.
• 표본 공분산 행렬의 0 요소는 경계 확률의 渐近적 구조를 완전히 결정하며, 특히 퇴화된 노드의 식별을 통해 이를 반영한다.
• 모델의 실 정준 임계값(RLCT)은 $ \frac{1}{4}(3n + l_2 + 5l_3) $ 이며, 루트와 그 이웃 노드가 모두 퇴화되어 있지 않은 한 다중도는 1이다. 이 경우 다중도는 1을 초과할 수 있다.