[논문 리뷰] Model reparametrization for improving variational inference

Linda S. L. Tan|arXiv (Cornell University)|2018. 05. 18.

Gaussian Processes and Bayesian Inference인용 수 1

한 줄 요약

이 논문은 계층 모델에서 변분 베이즈 추론을 향상시키기 위해 모델 재매개변수화를 제안한다. 전역 변수와 국소 변수 간의 사후 종속성을 줄이기 위해 가역적 아핀 변환을 사용한다. 국소 조건부 분포의 두 번째 차수 테일러 근사에 기반하여 유도된 이 방법은 일반선형 혼합모델에서 최신 기술인 가우시안 변분 추론보다 정확도와 수렴 속도가 향상된다.

ABSTRACT

We propose using model reparametrization to improve variational Bayes inference for hierarchical models whose variables can be classified as global (shared across observations) or local (observation specific). Posterior dependence between local and global variables is minimized by applying an invertible affine transformation on the local variables. The functional form of this transformation is deduced by approximating the posterior distribution of each local variable conditional on the global variables by a Gaussian density via a second order Taylor expansion. Variational Bayes inference for the reparametrized model is then obtained using stochastic approximation. Our approach can be readily extended to large datasets via a divide and recombine strategy. Using generalized linear mixed models, we demonstrate that reparametrized variational Bayes (RVB) provides improvements in both accuracy and convergence rate compared to state of the art Gaussian variational approximation methods.

연구 동기 및 목표

• 계층 베이지안 모델에서 전역 변수와 국소 변수 간의 사후 종속성을 줄이기 위해.
• 복잡한 계층 모델에서 변분 베이즈 추론의 정확도와 수렴 속도를 향상시키기 위해.
• 분할-재결합 전략을 통해 대규모 데이터 세트에 적합한 확장 가능한 추론 방법을 개발하기 위해.
• 모델 재매개변수화를 통합하여 가우시안 변분 근사 방법을 개선하고 더 나은 사후 근사 결과를 도출하기 위해.

제안 방법

• 국소 변수에 가역적 아핀 변환을 적용하여 전역 변수로부터 분리한다.
• 각 국소 변수의 조건부 사후 분포에 대한 두 번째 차수 테일러 전개를 사용해 변환 매개변수를 유도한다.
• 이 전개를 통해 국소 변수의 조건부 사후 분포를 가우시안 분포로 근사한다.
• 스토하스틱 근사 기법을 사용해 재매개변수화된 모델에서 변분 추론을 수행한다.
• 대규모 데이터 세트에 적용하기 위해 분할-재결합 전략을 활용한다.
• 재매개변수화된 모델을 사용해 일반선형 혼합모델에서 사후 평균과 분산 추정치를 향상시킨다.

실험 결과

연구 질문

• RQ1 전역 변수와 국소 변수 간의 사후 종속성을 어떻게 줄여야 변분 추론 성능을 향상시킬 수 있는가?
• RQ2 계층 모델에서 어떤 변환 전략이 더 나은 사후 근사를 제공하는가?
• RQ3 재매개변수화가 대규모 데이터 세트에서 변분 베이즈의 수렴 속도와 정확도를 향상시킬 수 있는가?
• RQ4 제안된 방법은 계층 모델에서 기존의 가우시안 변분 추론 접근법과 비교해 어떻게 성능을 냈는가?
• RQ5 분할-재결합 전략을 사용해 재매개변수화 방법을 얼마나 잘 확장할 수 있는가?

주요 결과

• 재매개변수화된 변분 베이즈(RVB)는 일반선형 혼합모델에서 최신 기술인 가우시안 변분 근사 방법보다 더 높은 정확도를 달성한다.
• RVB는 기존의 변분 추론 방법보다 더 빠른 수렴 속도를 보인다.
• 최적의 아핀 변환을 통해 전역 변수와 국소 변수 간의 사후 종속성을 효과적으로 줄일 수 있다.
• 두 번째 차수 테일러 근사를 사용함으로써 국소 조건부 사후 분포를 가우시안으로 정확하게 근사할 수 있다.
• 분할-재결합 전략을 통해 대규모 데이터 세트에서 정확도를 유지하면서도 확장 가능한 추론이 가능하다.
• 실증 결과는 RVB가 계층 모델에서 추정 정확도와 수렴 효율성을 모두 향상시킨다는 것을 확인한다.