[논문 리뷰] Covariances, Robustness, and Variational Bayes

Ryan Giordano, Tamara Broderick외 1명|arXiv (Cornell University)|2017. 09. 08.

Statistical Methods and Bayesian Inference참고 문헌 42인용 수 57

한 줄 요약

본 논문은 MFVB 불확실성 추정치를 개선하기 위해 선형 응답 변분 베이즈 (LRVB) 공분산을 도출하고, MFVB 후방분포의 무한소 교란에 대한 민감도를 활용하여 MCMC에 비해 빠르고 정확한 공분산을 보임을 보인다.

ABSTRACT

Mean-field Variational Bayes (MFVB) is an approximate Bayesian posterior inference technique that is increasingly popular due to its fast runtimes on large-scale datasets. However, even when MFVB provides accurate posterior means for certain parameters, it often mis-estimates variances and covariances. Furthermore, prior robustness measures have remained undeveloped for MFVB. By deriving a simple formula for the effect of infinitesimal model perturbations on MFVB posterior means, we provide both improved covariance estimates and local robustness measures for MFVB, thus greatly expanding the practical usefulness of MFVB posterior approximations. The estimates for MFVB posterior covariances rely on a result from the classical Bayesian robustness literature relating derivatives of posterior expectations to posterior covariances and include the Laplace approximation as a special case. Our key condition is that the MFVB approximation provides good estimates of a select subset of posterior means---an assumption that has been shown to hold in many practical settings. In our experiments, we demonstrate that our methods are simple, general, and fast, providing accurate posterior uncertainty estimates and robustness measures with runtimes that can be an order of magnitude faster than MCMC.

연구 동기 및 목표

• Mean-Field Variational Bayes (MFVB)에서 후방 불확실성 추정치를 개선할 필요성을 동기화한다.
• perturbation 이론을 사용하여 MFVB 후방 공분산을 추정하는 민감도 기반 프레임워크를 개발한다.
• 베이지안 강건성 개념을 변분 베이즈와 연결하여 로컬 강건성 측정치를 얻는다.
• LRVB 공분산이 다양한 설정에서 MCMC에 비해 계산이 빠르고 정확하다는 것을 입증한다.

제안 방법

• 후방 기대값의 무한소 하이퍼파라미터 교란에 대한 로컬 민감도를 정의한다.
• 후방 기대값의 도함수가 교란 항과 관련된 공분산임을 보인다(정리 1).
• 변분 베이즈(VB) 프레임워크를 도입하고 VB 민감도에 대한 닫힌 형태의 선형 시스템을 도출한다(정리 2).
• LRVB 공분산을 g_eta H_eta_eta^{-1} g_eta^T로 정의하여 후방 공분산을 추정한다(정의 6).
• VB 민감도 결과에서 사전 민감도 측정을 얻는 방법을 제시한다(섹션 4).

실험 결과

연구 질문

• RQ1 MFVB 후방 공분산을 민감도 분석으로 일관되게 추정할 수 있는가?
• RQ2 LRVB 공분산이 더 빠른 계산을 유지하면서 MCMC 기반 공분산에 근접하게 근사하는가?
• RQ3 VB 민감도 이론이 MFVB를 위한 실용적 사전 강건성 측정치를 제공하는가?
• RQ4 MFVB가 공분산 추정을 위한 로컬 민감성을 정확하게 제공하는 조건은 무엇인가?

주요 결과

• LRVB는 실험에서 MCMC 공분산과 근접하게 일치하는 공분산 추정치를 제공하면서도 수십 배에서 수백 배 빠르다.
• MFVB 자체는 분산을 과소평가하고 구성 요소 간의 공분산을 포착하지 못하는 반면, LRVB는 민감도를 통해 이를 복원한다.
• 후방 평균과 교란 사이의 상관관계는 로컬 강건성 분석과 하이퍼파라미터 민감성을 효율적으로 가능하게 한다.
• H_eta_eta^{-1} 구조로 인해 LRVB는 양의 준정적이고 대칭적인 공분산 추정치를 제공하여 표준 MFVB보다 신뢰성을 향상시킨다.