[논문 리뷰] A Geometric View of Posterior Approximation

Tian Chen, Jeffrey Streets외 1명|arXiv (Cornell University)|2015. 10. 03.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 3

한 줄 요약

이 논문은 주어진 맥락의 피셔 기하학에서 유도된 거리 척도를 사용하여 베이지안 추론에서 사후 분포 근사에 대한 기하적 프레임워크를 제안한다. 기존의 변분 방법에 비해 원칙적인 대안을 제공하며, 사후 근사를 통계 다양체 위의 리만 최적화 문제로 간주함으로써, 기존의 KL 발산 기반 접근 방식보다 더 정확하고 전역적으로 일관된 근사를 가능하게 한다.

ABSTRACT

Although Bayesian methods are robust and principled, their application in practice could be limited since they typically rely on computationally intensive Markov Chain Monte Carlo algorithms for their implementation. One possible solution is to find a fast approximation of posterior distribution and use it for statistical inference. For commonly used approximation methods, such as Laplace and variational free energy, the objective is mainly defined in terms of computational convenience as opposed to a true distance measure between the target and approximating distributions. In this paper, we provide a geometric view of posterior approximation based on a valid distance measure derived from ambient Fisher geometry. Our proposed framework is easily generalizable and can inspire a new class of methods for approximate Bayesian inference.

연구 동기 및 목표

• 기존의 사후 근사 방법이 계산적으로 편리한 발산 척도에 의존함으로써 진정한 기하 거리가 아닌 점을 해결하고자 한다.
• 베이지안 추론에서 사후 분포 근사를 위한 원칙적이고 기하학적으로 기반을 둔 프레임워크를 개발하고자 한다.
• 피셔 정보를 기반으로 한 리만 기하학적 구조에 통합함으로써 기존의 변분 방법을 일반화하고자 한다.
• 주변 피셔 기하학에서 유도된 유효한 거리 척도를 최소화하여 더 정확하고 전역적으로 일관된 사후 근사를 가능하게 하고자 한다.

제안 방법

• 사후 근사를 통계 다양체 위의 리만 최적화 문제로 공식화하며, 분포 간의 거리는 피셔 정보 계량을 통해 측정된다.
• 주변 피셔 기하학에서 유도된 유효한 거리 척도를 정의하여, KL 발산과 같은 임의의 발산 척도를 기하학적으로 일관된 대안으로 대체한다.
• 근사 밀도의 스코어 함수에서 유도된 정규수직 기저 벡터를 사용하여 다양체 위의 주어진 점에서의 탄젠트 공간을 매개변수화한다.
• 기저 벡터와 진짜 사후의 제곱근 사이의 내적을 사용하여 다양체 위에서 기하학적으로 일관된 기울기 유사 갱신을 적용한다.
• 내적과 진짜 사후의 제곱근을 기반으로 유도된 정규화된 방향 성분을 사용하여 매개변수(예: 평균과 분산)를 반복적으로 갱신한다.
• 이 프레임워크는 지수 가족을 초월하여 다이내믹한 근사 가족을 허용하며, 통계 모델의 내재 기하학을 활용한다.

실험 결과

연구 질문

• RQ1 피셔 정보에서 유도된 기하 거리 척도는 사후 근사에서 KL 발산에 비해 더 원칙적인 대안이 될 수 있는가?
• RQ2 통계 다양체의 구조를 어떻게 활용하여 사후 근사의 전역 정확도를 향상시킬 수 있는가?
• RQ3 제안된 기하 프레임워크는 평균-장 가정 근사와 같은 표준 변분 가족을 초월해 얼마나 일반화되는가?
• RQ4 리만 최적화 프레임워크를 사용할 경우 사후 근사의 수렴성과 근사 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 기하 프레임워크는 주변 피셔 기하학에서 유도된 유효한 리만 거리 척도를 통해 사후 분포와 근사 분포 간의 거리를 제공하며, 기존의 발산 척도보다 더 원칙적인 접근이다.
• 스코어 함수에서 유도된 정규수직 기저 벡터를 사용하여 통계 다 양체의 탄젠트 공간에서 최적화함으로써 정확한 사후 근사를 가능하게 한다.
• 기존의 변분 방법을 기하학적 맥락에 통합함으로써 프레임워크가 일반화되어 국소 모드 일치를 초월한 더 나은 전역 근사 성질을 허용한다.
• 기저 벡터와 진짜 사후의 제곱근 사이의 내적을 사용함으로써 기하학적 일관성이 확보되고 안정적인 매개변수 갱신이 가능하다.
• KL 발산 최소화에서 유래하는 비대칭성과 편향을 피함으로써 고차원 설정에서 더 뛰어난 근사 품질을 달성한다.