[논문 리뷰] Asymptotic Model Selection for Directed Networks with Hidden Variables

Dan Geiger, David Heckerman외 1명|arXiv (Cornell University)|2013. 02. 13.

Bayesian Modeling and Causal Inference인용 수 10

한 줄 요약

이 논문은 네트워크 매개변수에서 관측 가능한 매개변수로의 맵핑을 위한 자코비안 행렬의 질량을 기반으로 한 점근적 근사값을 도출하여, 은닉 변수를 가진 베이지안 네트워크에 대해 베이지안 정보 기준(BIC)을 확장한다. 주요 기여는 은닉 변수를 고려한 모델 복잡도를 원칙적으로 계산할 수 있는 방법을 제공함으로써, 대규모 표본 설정에서 일致된 모델 선택을 가능하게 한다.

ABSTRACT

We extend the Bayesian Information Criterion (BIC), an asymptotic approximation for the marginal likelihood, to Bayesian networks with hidden variables. This approximation can be used to select models given large samples of data. The standard BIC as well as our extension punishes the complexity of a model according to the dimension of its parameters. We argue that the dimension of a Bayesian network with hidden variables is the rank of the Jacobian matrix of the transformation between the parameters of the network and the parameters of the observable variables. We compute the dimensions of several networks including the naive Bayes model with a hidden root node.

연구 동기 및 목표

• 관측되지 않은(은닉된) 변수를 포함한 유도 베이지안 네트워크에서의 모델 선택 과제를 다루기 위해.
• 은닉 변수가 도입함으로써 증가된 복잡도를 처리할 수 있도록 베이지안 정보 기준(BIC)을 확장하기 위해.
• 잠재 변수가 존재할 경우 모델 복잡도를 이론적으로 근거 있는 방법으로 측정하기 위해.
• 은닉 변수로 인한 효과적 자유도를 정확히 반영함으로써, 점근적으로 일관된 모델 선택을 보장하기 위해.

제안 방법

• 네트워크 매개변수에서 관측 가능한 매개변수로의 매개변수 공간 변환을 자코비안 행렬로 모델링함으로써, 은닉 변수를 가진 베이지안 네트워크에 대한 BIC 기준의 확장을 제안한다.
• 은닉 변수를 가진 베이지안 네트워크의 차원을 네트워크 매개변수와 관측 변수의 매개변수 간 자코비안 행렬의 질량으로 정의한다.
• 대수기하학을 사용하여 자코비안의 질량을 계산함으로써, 모델 내 자유 매개변수의 효과적 수를 정량화한다.
• 나이브 베이즈 모델에 은닉 루트 노드를 도입한 구조를 적용하여 접근법을 검증한다.
• 모델 복잡도를 자코비안 질량 기반으로 벌점 처리된 점근적 근사값을 도출함으로써, 우도의 주변 확률을 근사한다.
• 기본적인 BIC 스타일의 벌점 처리를 사용하지만, 표준 매개변수 수 대신 자코비안 질량을 사용하여 실제 모델 복잡도를 반영한다.

실험 결과

연구 질문

• RQ1 은닉 변수를 포함한 유도 베이지안 네트워크에서 모델 선택을 위한 베이지안 정보 기준(BIC)은 어떻게 적응시킬 수 있는가?
• RQ2 베이지안 네트워크에 잠재 변수가 존재할 경우 적절한 모델 복잡도 측정 기준은 무엇인가?
• RQ3 네트워크 매개변수와 관측 매개변수 간 자코비안 행렬의 질량은 모델 차원성과 어떻게 관련되는가?
• RQ4 확장된 BIC 기준은 은닉 변수를 포함한 모델에서 대규모 표본 설정에서 일관된 모델 선택을 달성할 수 있는가?
• RQ5 은닉 루트 노드가 도입된 나이브 베이즈 모델의 차원은 얼마인가?

주요 결과

• 은닉 변수를 가진 베이지안 네트워크의 차원은 네트워크 매개변수에서 관측 가능한 변수의 매개변수로의 맵핑을 위한 자코비안 행렬의 질량으로 정의된다.
• 제안된 방법은 은닉 루트 노드가 있는 나이브 베이즈 모델에 대해 모델 복잡도를 성공적으로 계산하였으며, 효과적 차원이 매개변수 수의 단순 계산보다 낮다는 것을 보여주었다.
• 확장된 BIC 기준은 주변 우도에 대해 점근적으로 일관된 근사값을 제공하여, 대규모 데이터셋에서 신뢰할 수 있는 모델 선택을 가능하게 한다.
• 은닉 변수로 인한 효과적 자유도를 정확히 반영함으로써, 모델 선택에서 과적합 문제를 해결한다.
• 이론적으로 타당하며, 표준 네트워크 구성에서 검증된 바와 같이, 잠재적인 구조를 가진 다양한 유도 네트워크에 적용 가능하다.
• 자코비안 질량을 복잡도 측정 기준으로 사용함으로써, 관측되지 않은 변수를 포함한 전체 매개변수 공간이 아닌, 식별 가능한 효과적 매개변수만에 대해 벌점 처리가 이루어지게 된다.