[논문 리뷰] Perturbative Corrections for Approximate Inference in Gaussian Latent Variable Models

Manfred Opper, Ulrich Paquet외 1명|arXiv (Cornell University)|2013. 01. 12.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 11

한 줄 요약

이 논문은 가우시안 잠재변수 모델에서 추론의 근사 오차를 향상시키기 위해 기대값 전파(EP)를 사용하는 펌프터바티브 보정 프레임워크를 제안한다. EP가 간과한 고차항 모멘트의 고차항 누적량에 대해 보정 항을 펌프터바티브 전개함으로써, 임의의 다항식 차수까지 체계적으로 EP의 근사 오차를 보정할 수 있으며, 이중 보정 항은 이차 시간 복잡도로 계산 가능하며 근사 오차의 다항식 시간 평가가 가능해진다.

ABSTRACT

Expectation Propagation (EP) provides a framework for approximate inference. When the model under consideration is over a latent Gaussian field, with the approximation being Gaussian, we show how these approximations can systematically be corrected. A perturbative expansion is made of the exact but intractable correction, and can be applied to the model's partition function and other moments of interest. The correction is expressed over the higher-order cumulants which are neglected by EP's local matching of moments. Through the expansion, we see that EP is correct to first order. By considering higher orders, corrections of increasing polynomial complexity can be applied to the approximation. The second order provides a correction in quadratic time, which we apply to an array of Gaussian process and Ising models. The corrections generalize to arbitrarily complex approximating families, which we illustrate on tree-structured Ising model approximations. Furthermore, they provide a polynomial-time assessment of the approximation error. We also provide both theoretical and practical insights on the exactness of the EP solution.

연구 동기 및 목표

• 잠재가우시안 모델에서 복잡한 사후분포를 근사하기 위해 가우시안 가족을 사용할 때 기대값 전파(EP)에 내재된 근사 오차를 해결하기 위해.
• 표준 모멘트 매칭 절차에서 간과된 고차항 누적량을 고려함으로써 EP의 근사 오차를 체계적으로 보정하는 펌프터바티브 프레임워크를 개발하기 위해.
• 고차항 보정을 통해 근사 오차의 질을 다항식 시간 내에 평가할 수 있도록 하기 위해.
• 나무 구조 및 복잡한 모델을 포함한 임의의 근사 가족으로 보정 방법을 일반화하기 위해.
• 펌프터바티브 전개를 통해 EP 해의 정확성과 수렴성에 대한 이론적 및 실증적 통찰을 제공하기 위해.

제안 방법

• 지역 모멘트 매칭 중 간과된 고차항 누적량의 함수로 EP의 비가역 보정 항을 수식화하기 위해.
• 고차항 누적량을 EP 해에 대한 작은 보정으로 간주하고 정확한 보정에 대해 펌프터바티브 전개를 적용하기 위해.
• 중앙화된 가우시안 측도 하에서 다항식 모멘트를 평가하기 위해 위크의 정리를 사용하여 보정 항의 해석적 계산을 가능하게 하기 위해.
• 각 차수에 따라 점점 더 복잡한 다항식 보정에 해당하는 누적량의 거듭제곱 전개로 보정을 표현하기 위해.
• 가우시안 프로세스 및 이징 모델에서 이차 시간 내에 계산 가능한 분할 함수와 모멘트에 대한 명시적 이차 보정 공식 유도하기 위해.
• 고차항 누적량의 재귀적 전파를 통해 나무 구조적 이징 모델을 포함한 임의의 근사 가족으로 보정을 일반화하기 위해.

실험 결과

연구 질문

• RQ1 잠재가우시안 모델에서 비가우시안 사후분포를 근사하기 위해 가우시안 가족을 사용할 때, EP의 근사 오차는 어떻게 체계적으로 보정할 수 있는가?
• RQ2 EP의 비가역 보정 항의 구조는 무엇이며, 고차항 누적량을 사용해 어떻게 펌프터바티브 급수로 전개할 수 있는가?
• RQ3 이차 펌프터바티브 보정은 가우시안 프로세스 및 이징 모델에서 EP의 정확도를 어느 정도 향상시키며, 그 계산 복잡도는 어떻게 되는가?
• RQ4 펌프터바티브 보정 프레임워크는 나무 구조적 모델을 포함한 임의의 근사 가족으로 일반화될 수 있으며, 이는 근사 오차를 어떻게 평가하는가?
• RQ5 펌프터바티브 전개의 수렴 반경은 무엇이며, 이는 보정의 타당성과 안정성과 어떻게 관련되는가?

주요 결과

• EP는 펌프터바티브 전개의 일계에서 정확하며, 이는 EP 고정점에서 일계 보정 항이 0이 된다는 것을 의미한다.
• 이차 보정 항은 이차 시간 복잡도로 계산 가능하며, 가우시안 프로세스 분류 및 회귀 모델에서 EP의 정확도를 크게 향상시킨다.
• 펌프터바티브 보정은 근사 오차의 다항식 시간 평가를 가능하게 하여, 저차항이 크면 오차 진단이 가능해진다.
• 나무 구조적 이징 모델을 포함한 임의의 근사 가족으로 보정이 일반화되며, 고차항 누적량을 재귀적으로 계산함으로써 가능해진다.
• 가우시안 프로세스 분류의 프로빗 링크 함수의 경우, 우도의 세 번째 및 네 번째 누적량을 해석적으로 유도하여 고차항 보정이 가능해진다.
• 증가하는 데이터를 가진 반례에서 EP는 발산하지만, 펌프터바티브 보정 프레임워크는 불안정성을 드러내고 고차항을 통해 오차 성장을 정량화한다.