[논문 리뷰] Practical bounds on the error of Bayesian posterior approximations: A nonasymptotic approach

Jonathan H. Huggins, Trevor Campbell외 2명|arXiv (Cornell University)|2018. 09. 25.

Markov Chains and Monte Carlo Methods참고 문헌 48인용 수 17

한 줄 요약

이 논문은 강한 볼록성과 제3도 도함수의 유계성 조건 하에서, 일반화된 페셔 거리로 워샤르슈타인 거리를 제어함으로써 베이지안 사후 근사의 오차를 비점근적으로 경계하는 프레임워크를 제안한다. 이는 라플라스 근사 및 힐버트 코어세트와 같은 스케일러블 추론 방법에 대해 실용적인 오차 경계를 가능하게 한다.

ABSTRACT

Bayesian inference typically requires the computation of an approximation to the posterior distribution. An important requirement for an approximate Bayesian inference algorithm is to output high-accuracy posterior mean and uncertainty estimates. Classical Monte Carlo methods, particularly Markov Chain Monte Carlo, remain the gold standard for approximate Bayesian inference because they have a robust finite-sample theory and reliable convergence diagnostics. However, alternative methods, which are more scalable or apply to problems where Markov Chain Monte Carlo cannot be used, lack the same finite-data approximation theory and tools for evaluating their accuracy. In this work, we develop a flexible new approach to bounding the error of mean and uncertainty estimates of scalable inference algorithms. Our strategy is to control the estimation errors in terms of Wasserstein distance, then bound the Wasserstein distance via a generalized notion of Fisher distance. Unlike computing the Wasserstein distance, which requires access to the normalized posterior distribution, the Fisher distance is tractable to compute because it requires access only to the gradient of the log posterior density. We demonstrate the usefulness of our Fisher distance approach by deriving bounds on the Wasserstein error of the Laplace approximation and Hilbert coresets. We anticipate that our approach will be applicable to many other approximate inference methods such as the integrated Laplace approximation, variational inference, and approximate Bayesian computation

연구 동기 및 목표

• 변분 추론, 근사 베이지안 계산, 코어세트와 같은 스케일러블 베이지안 추론 방법에 대해 유한 표본 이론적 보장을 제공하지 못하는 문제를 해결한다.
• 정규화 요구 사항으로 인해 계산적으로 비가능한 워샤르슈타인 거리의 실용적 대안을 제공하여 오차 정량화를 가능하게 한다.
• 페셔 거리와 워샤르슈타인 거리 사이의 연결을 구축함으로써, 사후 평균과 불확실성 추정치에 대한 계산 가능하고 유한 표본 기반 오차 경계를 확립한다.
• 라플라스 근사와 베이지안 코어세트와 같은 두 가지 핵심 스케일러블 방법에 대해 제안된 프레임워크의 유용성을 입증한다.
• 점근적 근사에 의존하지 않고도 근사 사후 평균과 공분산의 정확도를 평가할 수 있는 강력한 비점근적 도구를 실무자에게 제공한다.

제안 방법

• 기존의 페셔 정보 기반 발산의 일반화로, $(p,\nu)$-페셔 거리를 도입하여 $p$-워샤르슈타인 거리에 대한 경계를 가능하게 한다.
• $(p,\nu)$-페셔 거리를 사용하여 진정한 사후와 근사 사후 간의 $p$-워샤르슈타인 거리를 상한으로 제시하며, 사후의 정규화를 피한다.
• 진정한 사후의 로그-사후의 강한 볼록성과 제3도 도함수의 유계성 조건 하에서, 라플라스 근사의 워샤르슈타인 오차에 대한 경계를 유도한다.
• 힐베르트 코어세트에 프레임워크를 적용함으로써, 코어세트의 구성 방식을 활용해 페셔 거리를 상한으로 제시하고, 코어세트 기반 추론에서 워샤르슈타인 오차를 제어한다.
• 테일러 전개와 가우시안 혼합 모델의 모멘트 경계를 사용하여, 진짜 사후 스코어 함수와 근사 사후 스코어 함수의 차이의 기대 $L^2$-노름을 제어한다.
• 집중 및 모멘트 부등식을 활용하여, 워샤르슈타인 거리를 통해 사후 평균과 공분산 추정치의 기대 오차를 상한으로 제시한다.

실험 결과

연구 질문

• RQ1 강한 볼록성과 제3도 도함수의 유계성 조건 하에서, 사후 평균과 불확실성 추정치에 대해 계산 가능하고 의미 있는 비점근적 유한 표본 오차 경계를 제공할 수 있는가?
• RQ2 계산적으로 타당한 페셔 거리와 더 이해하기 쉬운 워샤르슈타인 거리 사이의 관계를 어떻게 설정하여 사후 근사 오차를 경계할 수 있는가?
• RQ3 로그-사후에 대한 정규성 조건 하에서, 라플라스 근사의 유한 표본 수렴 속도는 워샤르슈타인 거리 기준으로 어떻게 표현되는가?
• RQ4 제안된 페셔 거리 프레임워크는 변분 추론이나 코어세트와 같은 다른 스케일러블 추론 방법에 적용 가능한가?
• RQ5 $(p,\nu)$-페셔 거리는 사후 근사 품질 평가에서 쿨백-라이블러 발산의 함정을 피하는 데 어떻게 기여하는가?

주요 결과

• $(p,\nu)$-페셔 거리는 진짜 사후와 근사 사후 간의 $p$-워샤르슈타인 거리에 대해 계산 가능한 상한을 제공한다.
• 라플라스 근사의 경우, 강한 볼록성과 로그-사후의 제3도 도함수의 유계성 조건 하에서, $p$-워샤르슈타인 오차는 $\frac{1}{2}\|M^\star\|_1 C_1(\lambda) + \frac{1}{6}\|L\|_1 C_2(\lambda)^{3/2}$ 로 상한으로 제시되며, 여기서 $C_1, C_2$ 는 라플라스 근사의 분산에 대한 모멘트 함수이다.
• 정확한 사후와 코어세트 근사 간의 $p$-워샤르슈타인 거리는 페셔 거리를 통해 상한으로 제시되며, 코어세트 구성과 데이터 기하학성에 명시적인 의존성이 있다.
• 이 프레임워크는 워샤르슈타인 거리가 사후 평균과 공분산 추정치의 오차를 제어함을 보여주며, 불확실성 정량화에 있어 쿨백-라이블러 발산보다 더 신뢰할 수 있는 지표임을 입증한다.
• 이 방법은 헤시안과 로그-사후의 제3도 도함수 노름에 대한 명시적 의존성을 포함하여, $p$-워샤르슈타인 거리 기준으로 라플라스 근사의 비점근적 수렴 속도 분석을 가능하게 한다.
• 이 접근법은 변분 추론, 근사 베이지안 계산, 공통 기반 접근법을 포함한 다른 스케일러블 추론 방법으로 일반화 가능하다.