[논문 리뷰] On the geometry of Bayesian graphical models with hidden variables

Raffaella Settimi, Jim Q. Smith|arXiv (Cornell University)|1998. 07. 24.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 36

한 줄 요약

이 논문은 은닉 변수를 포함한 베이지안 그래픽 모델에서 우도 및 사후 분포의 기하적 구조를 조사하여, 매개변수의 식별 불가능성, 사전 분포에 대한 민감도, 일반적인 사후 분포 형태에 대한 통찰을 제공한다. 우도의 매니폴드 기하학을 분석함으로써, 누락 데이터가 있는 복잡한 베이지안 네트워크에 적용 가능한 기초적인 이해를 제공한다.

ABSTRACT

In this paper we investigate the geometry of the likelihood of the unknown parameters in a simple class of Bayesian directed graphs with hidden variables. This enables us, before any numerical algorithms are employed, to obtain certain insights in the nature of the unidentifiability inherent in such models, the way posterior densities will be sensitive to prior densities and the typical geometrical form these posterior densities might take. Many of these insights carry over into more complicated Bayesian networks with systematic missing data.

연구 동기 및 목표

• 은닉 변수를 포함한 베이지안 방향 그래픽 모델에서 우도 함수의 기하적 구조를 이해하기 위해.
• 매개변수 공간의 기하적 성질을 통해 이러한 모델에서 식별 불가능성이 어떻게 발생하는지 분석하기 위해.
• 기하적 직관을 활용하여 사전 분포에 대한 사후 밀도의 민감도를 조사하기 위해.
• 은닉 변수가 존재할 경우 사후 분포가 취하는 일반적인 기하적 형태를 특성화하기 위해.
• 단순 모델의 통찰을 체계적인 누락 데이터가 있는 더 복잡한 베이지안 네트워크로 확장하기 위해.

제안 방법

• 모델의 매개변수 공간에 의해 정의된 매니폴드 위에서 우도 함수를 기하적 객체로 분석한다.
• 은닉 변수가 포함된 모델에서 우도 표면의 곡률과 특이점을 연구하기 위해 미분기하학을 사용한다.
• 피셔 정보 메트릭과 매개변수 공간의 기하학 간의 관계를 검토한다.
• 우도의 기하학적 통찰을 활용하여 다양한 사전 분포 하에서 사후 분포의 성질을 추론한다.
• 구조적 유사성을 활용하여 단순 모델의 발견을 더 복잡한 누락 데이터가 있는 베이지안 네트워크로 확장한다.
• 수치 최적화나 시뮬레이션 기법을 사용하지 않고 매개변수 공간의 이론적 분석에 의존한다.

실험 결과

연구 질문

• RQ1 은닉 변수가 있는 베이지안 그래픽 모델에서 우도 함수의 기하학은 식별 불가능성을 어떻게 드러내는가?
• RQ2 기하적 구조에 의해 드러나는 바와 같이, 사후 밀도는 사전 분포의 선택에 어떻게 영향을 받는가?
• RQ3 은닉 변수가 있는 모델에서 사후 분포는 일반적으로 어떤 기하적 형태를 취하는가?
• RQ4 우도 표면의 기하적 성질은 추론 알고리즘의 수렴성과 행동에 어떤 영향을 미치는가?
• RQ5 단순 모델에서의 통찰은 체계적인 누락 데이터가 있는 복잡한 베이지안 네트워크로 얼마나 일반화될 수 있는가?

주요 결과

• 은닉 변수가 있는 모델에서 우도 함수는 특이점과 비정규 기하학을 보이며, 이는 본질적인 식별 불가능성을 초래한다.
• 매개변수 공간의 탈선 기하학으로 인해 사후 밀도는 사전 분포에 매우 민감하다.
• 사후 분포의 일반적인 형태는 우도 매니폴드의 곡률과 특이점에 의해 제약을 받는다.
• 기하 분석은 은닉 변수가 있는 모델에서 표준 점근적 근사가 사후 집중에 실패할 수 있음을 드러낸다.
• 은닉 변수가 있는 단순 모델에서의 통찰은 체계적인 누락 데이터가 있는 더 복잡한 베이지안 네트워크로 일반화된다.
• 피셔 정보 메트릭은 식별 불가능한 구성에 대응하는 매개변수 공간의 영역에서 탈선한다.