[논문 리뷰] The variational Laplace approach to approximate Bayesian inference

Jean Daunizeau|arXiv (Cornell University)|2017. 03. 02.

Bayesian Methods and Mixture Models참고 문헌 6인용 수 16

한 줄 요약

이 논문은 연속형 및 범주형 데이터를 포함한 비선형 모델에서 근사 베이지안 추론을 위한 계산적으로 효율적인 방법으로 변분 라플라스(VL) 접근법을 제시한다. 모형 파라미터의 사후분포에 대한 가우시안 근사(approximation)를 사용함으로써 VL은 빠른 파라미터 추정과 모형 선택을 가능하게 하며, 수렴성에 대한 이론적 분석과 초모수(hyperparameters)를 포함한 계층적 모형으로의 실용적 확장도 가능하다.

ABSTRACT

Variational approaches to approximate Bayesian inference provide very efficient means of performing parameter estimation and model selection. Among these, so-called variational-Laplace or VL schemes rely on Gaussian approximations to posterior densities on model parameters. In this note, we review the main variants of VL approaches, that follow from considering nonlinear models of continuous and/or categorical data. En passant, we also derive a few novel theoretical results that complete the portfolio of existing analyses of variational Bayesian approaches, including investigations of their asymptotic convergence. We also suggest practical ways of extending existing VL approaches to hierarchical generative models that include (e.g., precision) hyperparameters.

연구 동기 및 목표

• 근사 베이지안 추론을 위한 변분-라플라스(VL) 방법에 대한 종합적인 리뷰를 제공하는 것.
• VL 접근법의 이론적 성질을 분석하는 것, 특히 점근적 수렴성에 중점을 두고.
• 기존의 VL 프레임워크를 정밀도 초모수를 포함하는 계층적 생성 모형으로 확장하는 것.
• 연속형 및 범주형 데이터를 포함한 복잡한 모델링 시나리오에서 VL을 구현하기 위한 실용적 지침을 제공하는 것.
• 기존의 변분 베이지안 방법 이론적 프로필을 보완하는 새로운 분석 결과를 제공하는 것.

제안 방법

• 모형 파라미터의 사후분포에 대한 가우시안 근사를 사용하며, 평균과 공분산에 대해 라플라스 근사를 활용한다.
• 자유 에너지 최소화를 통한 변분 추론을 정식화하며, 진짜 사후분포에 대한 가우시안 근사의 모수를 최적화한다.
• 비선형 모형에 대해 연속형 및 범주형 데이터를 모두 사용하며, 적절한 우도함수와 링크 함수를 적용한다.
• 계층적 모형의 경우, 초모수(예: 정밀도 파라미터)를 변분 근사 내 잠재변수로 간주함으로써 이를 확장한다.
• 이론적 분석에는 정규성 조건 하에서의 수렴 성질이 포함되며, 라플라스 근사와 변분 미적분학에 기반한 유도 과정이 포함된다.
• 변분 자유 에너지와 그 기울기의 해석적 해를 통해 효율적인 계산을 지원한다.

실험 결과

연구 질문

• RQ1 혼합 연속형 및 범주형 데이터를 포함한 비선형 모형에 대해 변분 라플라스 방법을 체계적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 대표본 근사에서 변분 라플라스 근사의 이론적 수렴 성질은 무엇인가?
• RQ3 정밀도와 같은 초모수는 어떻게 변분 추론 프레임워크에 통합될 수 있는가?
• RQ4 기존의 변분 베이지안 방법 분석을 보완하기 위해 새로운 이론적 통찰을 도출할 수 있는가?
• RQ5 계층적 생성 모형에 VL을 적용하기 위해 필요한 실용적 확장은 무엇인가?

주요 결과

• 변분 라플라스 접근법은 비선형 모형에서 마르코프 체인 몬테카를로(Markov chain Monte Carlo)에 대한 빠르고 확장 가능한 대안을 제공한다.
• 정규성 조건 하에서 점근적 일致성(asymptotic consistency)을 달성하며, 대표본 근사에서 진짜 사후분포로 수렴한다.
• 이론적 분석은 변분 자유 에너지가 주변우도의 하한(lower bound)을 제공함을 확인하여 모형 비교가 가능함을 보여준다.
• 초모수를 변분 분포에 포함시킴으로써 계층적 모형으로의 확장이 가능하며, 파라미터와 초모수를 함께 추정할 수 있다.
• 해석적 기울기를 통한 효율적 최적화를 지원하여 샘플링 기반 방법에 비해 계산 비용을 감소시킨다.
• 논문은 기존의 변분 베이지안 추론 문헌을 보완하는 새로운 이론적 결과를 도출하였으며, 특히 복잡한 모형에서 라플라스 근사의 행동에 관해 강력한 통찰을 제공한다.