[논문 리뷰] Linear Response Methods for Accurate Covariance Estimates from Mean Field Variational Bayes

Ryan Giordano, Tamara Broderick외 1명|arXiv (Cornell University)|2015. 06. 12.

Probabilistic and Robust Engineering Design참고 문헌 24인용 수 33

한 줄 요약

이 논문은 통계역학의 선형 반응 이론을 활용하여 평균장 변분베이즈(MFVB)의 정확한 사후 공분산을 분석적으로 추정함으로써 MFVB를 보정하는 선형 반응 변분베이즈(LRVB)를 제안한다. MFVB 사후분포가 지수가족에 속할 경우, LRVB는 MFVB 해를 바탕으로 선형 시스템을 통해 단순하고 스케일러블한 보정을 수행하며, MCMC 수준의 정확도를 갖는 불확실성 추정을 얻을 수 있다. 이는 MCMC보다 수십만 배 빠르다.

ABSTRACT

Mean field variational Bayes (MFVB) is a popular posterior approximation method due to its fast runtime on large-scale data sets. However, it is well known that a major failing of MFVB is that it underestimates the uncertainty of model variables (sometimes severely) and provides no information about model variable covariance. We generalize linear response methods from statistical physics to deliver accurate uncertainty estimates for model variables---both for individual variables and coherently across variables. We call our method linear response variational Bayes (LRVB). When the MFVB posterior approximation is in the exponential family, LRVB has a simple, analytic form, even for non-conjugate models. Indeed, we make no assumptions about the form of the true posterior. We demonstrate the accuracy and scalability of our method on a range of models for both simulated and real data.

연구 동기 및 목표

• 평균장 변분베이즈(MFVB)가 사후 분산을 과소평가하고 변수 간 공분산을 忽略하는 데서 기인하는 잘 알려진 한계를 해결하기 위해.
• 대규모 베이지안 모델에서 정확한 불확실성 정량화를 위한 일반적이고 계산 효율적인 방법을 개발하기 위해.
• 공액성이나 특정한 사후분포 형태를 가정하지 않고, 통계역학의 선형 반응 방법을 지수가족 변분 사후분포로 확장하기 위해.
• 이 방법이 MCMC 수준의 정확도를 갖는 공분산 추정을 달성하면서도 MFVB의 속도를 유지하는지 확인하기 위해.
• 실세계의 베이지안 추론에 널리 쓸 수 있도록 실용적이고 오픈소스로 구현된 도구를 제공하기 위해.

제안 방법

• LRVB는 통계역학의 선형 반응 이론을 일반화하여 MFVB의 사후 근사에 대한 보정을 도출한다.
• 공분산 보정을 MFVB 고정점 해와 변분 목표함수의 헤시안을 기반으로 하는 선형 시스템의 해로 공식화한다.
• 이 방법은 지수가족에 속하는 MFVB 사후분포에 적용 가능하며, 진짜 사후분포의 지식이 필요 없이 분석적이고 닫힌 형태의 보정을 가능하게 한다.
• 헤시안 행렬의 희소성 구조를 활용하여 대규모 데이터셋과 고차원 매개변수 공간에서도 스케일러블함을 확보한다.
• MFVB 고정점에 대한 편미분을 통해 변형함으로써, 개별 분산뿐만 아니라 상관관계를 잘 반영한 교차변수 공분산도 포괄적으로 추정한다.
• 이 방법은 코드 세트를 통해 구현되었으며, 가우시안 혼합모델과 MNIST 숫자 군집화 등 다양한 모델에 적용되었다.

실험 결과

연구 질문

• RQ1 비공액 모델에서 평균장 변분베이즈(MFVB)의 정확한 분석적 공분산 보정을 제공하기 위해 선형 반응 이론을 어떻게 적응시킬 수 있는가?
• RQ2 실제 데이터와 시뮬레이션 데이터에서 LRVB의 불확실성 추정 정확도가 마르코프 체인 몬테카를로(MCMC)와 비교해 어떻게 되는가?
• RQ3 모델 크기와 데이터 차원이 변화할 때 LRVB의 계산 스케일링은 MFVB와 MCMC에 비해 어떻게 되는가?
• RQ4 유한 가우시안 혼합모델과 같은 도전적인 모델에서 LRVB는 MFVB의 체계적인 사후 분산 과소평가 문제를 신뢰성 있게 보정할 수 있는가?
• RQ5 불확실성 정량화에서 MCMC 수준의 정확도를 유지하면서도 LRVB는 얼마나 빠른 속도를 유지할 수 있는가?

주요 결과

• MFVB가 분산을 수십만 배나 과소평가하는 동안조차도, LRVB는 MCMC와 거의 동일한 공분산 추정을 제공한다.
• 유한 가우시안 혼합모델에서 LRVB는 MCMC보다 100배 이상 빠르게 정확한 공분산 추정을 달성했으며, 데이터 크기와 매개변수 차원에 대해 각각 선형 및 세제곱 스케일링을 보였다.
• MNIST 숫자 군집화 작업에서 LRVB는 25차원 부분공간에서 정확한 불확실성 정량화를 실현했으며, 테스트 오류율은 8%였고, 이는 실세계 데이터에 대한 적용 가능성을 보여주었다.
• 이 방법의 계산 효율성은 헤시안 행렬의 희소성 구조를 활용한 데 기인하며, 이는 대규모 데이터셋에서의 스케일러블 추론을 가능하게 한다.
• LRVB의 분석적 보정 공식은 단순하며, MFVB 해로부터 직접 계산 가능하며, 추가 샘플링이나 반복 정밀화가 필요 없다.
• 이 방법은 진짜 사후분포 형태에 대한 가정 없이도 작동하므로, 공액 모델을 넘어선 광범위한 응용에 유용하다.