[논문 리뷰] The ratio of normalizing constants for Bayesian graphical Gaussian model selection

Gérard Letac, Hélène Massam외 1명|arXiv (Cornell University)|2017. 06. 14.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 7

한 줄 요약

이 논문은 베이지안 그래픽스 가우시안 모델에서 정규화 상수의 비율을 분석적으로 근사하는 방법을 제안한다. 이는 δ와 d가 각각 G-와이시어트 분포의 형상 매개수와 간선 끝점 간 길이 2의 경로 수임을 고려하여, Γ 함수를 (δ+d)/2 및 (δ+d+1)/2에서 평가한 닫힌 형태의 표현식을 사용한다. 이 방법은 몽테카를로 계산을 피하고, 계산적으로 효율적이며 높은 정확도를 유지한다. 근사 비율은 항상 0.55에서 1 사이에 유지되며, 이는 고차원 모델 선택의 확장성 가능성을 보장한다.

ABSTRACT

Many graphical Gaussian selection methods in a Bayesian framework use the G-Wishart as the conjugate prior on the precision matrix. The Bayes factor to compare a model governed by a graph G and a model governed by the neighboring graph G-e, derived from G by deleting an edge e, is a function of the ratios of prior and posterior normalizing constants of the G-Wishart for G and G-e. While more recent methods avoid the computation of the posterior ratio, computing the ratio of prior normalizing constants, (2) below, has remained a computational stumbling block. In this paper, we propose an explicit analytic approximation to (2) which is equal to the ratio of two Gamma functions evaluated at (delta+d)/2 and (delta+d+1)/2 respectively, where delta is the shape parameter of the G-Wishart and d is the number of paths of length two between the endpoints of e. This approximation allows us to avoid Monte Carlo methods, is computationally inexpensive and is scalable to high-dimensional problems. We show that the ratio of the approximation to the true value is always between zero and one and so, one cannot incur wild errors. In the particular case where the paths between the endpoints of e are disjoint, we show that the approximation is very good. When the paths between these two endpoints are not disjoint we give a sufficient condition for the approximation to be good. Numerical results show that the ratio of the approximation to the true value of the prior ratio is always between .55 and 1 and very often close to 1. We compare the results obtained with a model search using our approximation and a search using the double Metropolis-Hastings algorithm to compute the prior ratio. The results are extremely close.

연구 동기 및 목표

• G-와이시어트 분포의 정규화 상수 비율을 계산하는 데 발생하는 계산적 병목 현상을 해결하기 위해.
• G-와이시어트 분포의 사전 비율을 추정하기 위한 몽테카를로 방법의 빠르고 확장 가능한 대안을 개발하기 위해.
• 근사가 정확하고 유한하게 유지되어 베이즈 인자에 의한 모델 비교에서 큰 오차를 피하기 위해.
• 정규화 상수 비율을 계산적으로 경량화하면서도 신뢰할 수 있는 방법을 제공함으로써 고차원 모델 선택을 가능하게 하기 위해.

제안 방법

• G-와이시어트 분포의 사전 정규화 상수 비율에 대한 분석적 근사를 제안하며, 이는 (δ+d)/2 및 (δ+d+1)/2에서 평가된 Γ 함수의 비율로 표현된다.
• d를 그래프 G 에서 간선 e 를 제거할 때 그 끝점 간 길이 2의 경로 수로 정의한다.
• G-와이시어트 분포의 형상 매개수 δ 가 알려져 있고 고정되어 있다는 가정 하에 근사를 유도한다.
• 근사치와 진짜 값의 비율이 항상 0에서 1 사이에 있음을 입증하여 오차가 유한함을 보장한다.
• 경로가 서로 겹치지 않을 경우에도 근사가 잘 유지되도록 하는 충분조건을 설정한다.
• 수치적 방법으로 방법을 검증하고, 사전 비율을 계산하기 위한 더블 메트로폴리스-해스팅스 알고리즘과 비교한다.

실험 결과

연구 질문

• RQ1 몽테카를로 방법에 의존하지 않고도 G-와이시어트 분포의 정규화 상수 비율에 대해 분석적 근사를 유도할 수 있는가?
• RQ2 제안된 Γ 함수 기반 근사는 진짜 정규화 상수 비율을 추정할 때 얼마나 정확한가?
• RQ3 특히 끝점 간 경로가 서로 겹치지 않을 경우에도 근사는 신뢰성 있고 유한한가?
• RQ4 분석적 근사를 사용한 모델 선택 성능은 더블 메트로폴리스-해스팅스 알고리즘을 사용한 경우와 비교해 어떻게 되는가?
• RQ5 이 근사는 고차원 그래픽스 가우시안 모델에 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 근사치와 진짜 값의 비율은 항상 0.55에서 1 사이에 있어 강력한 유한성과 신뢰성을 나타낸다.
• 간선 e 의 끝점 간 경로가 서로 겹치지 않을 경우 근사는 특히 정확하며, 비율은 종종 1에 가까워진다.
• 경로가 겹치지 않을 경우에도 근사가 양호하게 유지될 수 있는 충분조건이 제시된다.
• 수치적 결과는 근사치가 매우 정확하며, 근사치와 진짜 값의 비율이 항상 0.55 이상으로 일관되게 유지됨을 보여준다.
• 분석적 근사를 사용한 모델 선택 결과는 더블 메트로폴리스-해스팅스 알고리즘을 사용한 결과와 매우 유사하여 실용적 유용성이 검증된다.
• 이 방법은 계산적으로 효율적이며 고차원 문제로의 확장이 가능하며, 고비용 몽테카를로 적분을 피할 수 있다.