[논문 리뷰] Computing the quality of the Laplace approximation

Guillaume Dehaene|arXiv (Cornell University)|2017. 11. 24.

Geometric Analysis and Curvature Flows참고 문헌 2인용 수 7

한 줄 요약

이 논문은 로그-볼록(posterior density)의 Kullback-Leibler (KL) 발산과 그 라플라스 근사 간의 계산 가능한 상한을 제시한다. 이 상한은 변수 변경과 모멘트 기반 부등식을 사용하여 유도되며, 모드에서의 로그 밀도의 세 번째 도함수에만 의존한다. 고차원 로지스틱 회귀에서 이 상한은 거의 정확한 것으로 입증되었으며, 몬테카를로 추정을 사용하지 않고도 라플라스 근사의 정확도를 평가할 수 있는 실용적인 도구를 제공한다.

ABSTRACT

Bayesian inference requires approximation methods to become computable, but for most of them it is impossible to quantify how close the approximation is to the true posterior. In this work, we present a theorem upper-bounding the KL divergence between a log-concave target density $f\left(\boldsymbolθ ight)$ and its Laplace approximation $g\left(\boldsymbolθ ight)$. The bound we present is computable: on the classical logistic regression model, we find our bound to be almost exact as long as the dimensionality of the parameter space is high. The approach we followed in this work can be extended to other Gaussian approximations, as we will do in an extended version of this work, to be submitted to the Annals of Statistics. It will then become a critical tool for characterizing whether, for a given problem, a given Gaussian approximation is suitable, or whether a more precise alternative method should be used instead.

연구 동기 및 목표

• 로그-볼록 타겟 밀도와 그 라플라스 근사 간의 계산 가능한 비점근적 상한을 KL 발산에 대해 제공하기 위해.
• 점근 이론에 의존하지 않고도 주어진 베이지안 모델에서 라플라스 근사가 충분히 정확한지 평가할 수 있는 실용적인 기준을 제공하기 위해.
• 기존의 베르너스타인-폰 마이어스 정리들에서의 한계를 극복하기 위해, 이 정리는 정성적이며 계산할 수 없는 항을 포함하고 있다.
• 모델러가 라플라스 근사보다 더 정확한 방법을 사용할 때를 결정할 수 있도록 돕기 위해.
• 관측 가능하고 계산 가능한 양으로 오차를 정량화하여 가우시안 근사의 적용 가능성을 넓히기 위해.

제안 방법

• 로그-볼록성 조건 하에 변수를 구좌표계로 바꾸어, 결정론적 베르너스타인-폰 마이어스 유형 정리를 도출한다.
• 모멘트 부등식과 로그-소볼레프 부등식을 적용하여 KL 발산을 로그 밀도의 세 번째 도함수 텐서로 상한화한다.
• 모드에서의 로그우도의 세 번째 도함수를 사용하여 상한을 표현하며, 이는 역 헤시안으로 스케일링된다.
• 모드 주변의 매개변수 공간을 재매개변수화하기 위해 변환을 사용하여, 라플라스 근사 하에서 모멘트 계산을 가능하게 한다.
• 라플라스 근사의 정확도를 검증하기 위해, 진짜 KL 발산을 마르코프 체인 몬테카를로(Markov Chain Monte Carlo) 샘플링을 통해 근사한다.
• 최대 사후 추정치(MAP 추정치)에서의 헤시안과 로그 밀도의 세 번째 도함수만을 사용하여 상한을 계산한다.

실험 결과

연구 질문

• RQ1 점근적 가정에 의존하지 않고도, 로그-볼록 사후 밀도와 그 라플라스 근사 간의 계산 가능한 KL 발산 상한을 도출할 수 있는가?
• RQ2 특히 고차원 모델인 로지스틱 회귀에서 이 상한은 실제로 얼마나 날카로운가?
• RQ3 모드에서의 로그 밀도의 세 번째 도함수는 라플라스 근사의 정확도를 얼마나 잘 예측할 수 있는가?
• RQ4 이 상한이 더 정확한 근사 방법을 사용할 때를 결정하는 실용적인 진단 도구로 기능할 수 있는가?
• RQ5 후행 분포가 강하게 로그-볼록이 아니더라도 단지 로그-볼록일 경우에도 이 상한은 여전히 정확한가?

주요 결과

• 제안된 KL 발산 상한은 최대 사후 추정치(MAP 추정치)에서의 헤시안과 로그 밀도의 세 번째 도함수만을 사용하여 계산 가능하다.
• 고차원 로지스틱 회귀에서 이 상한은 거의 정확하며, 상한과 진짜 KL 발산 사이의 격차가 극히 작다.
• 이 상한은 역 헤시안으로 스케일링된 로그 밀도의 세 번째 도함수에 의해 지배되며, 매개변수 공간의 차원에 따라 달라진다.
• 후행 분포가 강하게 로그-볼록이 아니더라도 로그-볼록일 경우, 이 상한은 여전히 날카로운 편이다.
• 이 방법은 몬테카를로 추정을 사용하지 않고도 라플라스 근사의 정확도를 비점근적으로 실용적으로 평가할 수 있도록 한다.
• 진짜 KL 발산의 MCMC 근사치를 사용하여 상한을 검증한 결과, 고차원 설정에서 강한 일치를 보였다.