[논문 리뷰] Stochastic complexity of Bayesian networks

Keisuke Yamazaki, Sumio Watanabe|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 31

한 줄 요약

이 논문은 대수기하학을 사용하여 잠재변수가 있는 베이지안 네트워크의 확률적 복잡도를 규명하며, 매개변수 공간의 특이성으로 인해 학습 복잡도가 일반 모델보다 현저히 낮아진다는 것을 밝혀낸다. 주요 결과로는 확률적 복잡도가 매개변수 차원보다 작은 값으로 상한이 존재함을 보이며, 이는 BIC와 같은 베이지안 모델 선택 기준이 이러한 비정규 모델에 대해 부적절하며 보정이 필요하다는 것을 시사한다.

ABSTRACT

Bayesian networks are now being used in enormous fields, for example, diagnosis of a system, data mining, clustering and so on. In spite of their wide range of applications, the statistical properties have not yet been clarified, because the models are nonidentifiable and non-regular. In a Bayesian network, the set of its parameter for a smaller model is an analytic set with singularities in the space of large ones. Because of these singularities, the Fisher information matrices are not positive definite. In other words, the mathematical foundation for learning was not constructed. In recent years, however, we have developed a method to analyze non-regular models using algebraic geometry. This method revealed the relation between the models singularities and its statistical properties. In this paper, applying this method to Bayesian networks with latent variables, we clarify the order of the stochastic complexities.Our result claims that the upper bound of those is smaller than the dimension of the parameter space. This means that the Bayesian generalization error is also far smaller than that of regular model, and that Schwarzs model selection criterion BIC needs to be improved for Bayesian networks.

연구 동기 및 목표

• 매개변수 공간의 특이성으로 인해 식별 불가능하고 비정규적인 베이지안 네트워크의 통계적 성질을 명확히 하기 위해.
• 기존 피셔 정보 방법이 실패하는, 잠재변수가 있는 베이지안 네트워크의 확률적 복잡도를 조사하기 위해.
• 대수기하학 기반 기법을 비정규 모델로 확장하여 베이지안 네트워크에 적용하기 위해.
• 베이지안 일반화 오차가 정규 모델보다 현저히 작음을 입증하여, 이러한 네트워크에 대해 BIC의 타당성을 도전하기 위해.

제안 방법

• 잠재변수가 있는 베이지안 네트워크의 매개변수 공간 내 특이성을 분석하기 위해 대수기하학 기법을 적용하기 위해.
• 특이학습이론의 방법을 사용해 모델의 확률적 복잡도를 계산하기 위해.
• 매개변수 공간 내 특이성의 구조를 분석하여 근사적인 우도의 형태를 도출하기 위해.
• 매개변수 공간의 차원보다 엄격히 작은 값을 상한으로 설정하여 확률적 복잡도의 상한을 확립하기 위해.
• 모델의 기하학적 구조와 통계적 성질, 특히 학습 행동과 일반화 오차 사이의 관계를 규명하기 위해.
• 특이성 존재로 인해 BIC 근사가 이러한 모델에 대해 실패함을 입증하기 위해.

실험 결과

연구 질문

• RQ1 잠재변수가 있는 베이지안 네트워크의 확률적 복잡도는 무엇이며, 일반 모델과 비교해 어떻게 다를까?
• RQ2 매개변수 공간의 특이성이 베이지안 네트워크의 학습 및 일반화 행동에 어떻게 영향을 미치는가?
• RQ3 왜 베이지안 정보 기준(BIC)은 잠재변수가 있는 베이지안 네트워크에 실패하는가?
• RQ4 대수기하학 기법을 사용해 비정규 모델의 우도 근사값을 정확하게 유도할 수 있는가?
• RQ5 매개변수 공간의 기하학적 구조와 베이지안 네트워크 학습의 통계적 성질 간의 관계는 무엇인가?

주요 결과

• 잠재변수가 있는 베이지안 네트워크의 확률적 복잡도는 매개변수 공간의 차원보다 작은 값으로 상한이 존재한다.
• 매개변수 공간 내 특이성의 존재로 인해 피셔 정보 행렬이 정부분정의가 되지 않아 표준적인 점근적 근사가 무효화된다.
• 베이지안 일반화 오차는 정규 모델보다 현저히 작으며, 더 나은 학습 성능을 의미한다.
• 비정규적 구조로 인해 BIC 기준이 이러한 네트워크의 모델 선택에 부적절하다는 것이 입증되었다.
• 대수기하학의 응용은 모델의 특이성과 통계적 성질 사이의 정밀한 관계를 드러내며 정확한 복잡도 추정을 가능하게 한다.
• 이러한 모델의 우도 점근적 성질은 실로그캔서럴스케일(Real Log Canonical Threshold)에 의해 결정되며, 이는 확률적 복잡도를 결정한다.