[논문 리뷰] Black Box Variational Inference

Rajesh Ranganath, Sean Gerrish외 1명|arXiv (Cornell University)|2013. 12. 31.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 42

한 줄 요약

이 논문은 블랙박스 변분 추론(BBVI)을 소개한다. BBVI는 변분 분포에서 몬테카를로 샘플링을 통해 기울기를 추정함으로써 빠르고 모델에 종속되지 않는 변분 추론을 가능하게 하는 일반적인 확률적 최적화 프레임워크이다. 라오-블랙웰라이제이션과 제어 변수와 같은 모델에 종속되지 않는 분산 감소 기법을 적용함으로써, BBVI는 블랙박스 샘플링 방법보다 더 빠른 수렴 속도와 더 나은 예측 가능성을 달성하며, 복잡한 비공액 모델의 신속한 탐색을 가능하게 한다.

ABSTRACT

Variational inference has become a widely used method to approximate posteriors in complex latent variables models. However, deriving a variational inference algorithm generally requires significant model-specific analysis, and these efforts can hinder and deter us from quickly developing and exploring a variety of models for a problem at hand. In this paper, we present a "black box" variational inference algorithm, one that can be quickly applied to many models with little additional derivation. Our method is based on a stochastic optimization of the variational objective where the noisy gradient is computed from Monte Carlo samples from the variational distribution. We develop a number of methods to reduce the variance of the gradient, always maintaining the criterion that we want to avoid difficult model-based derivations. We evaluate our method against the corresponding black box sampling based methods. We find that our method reaches better predictive likelihoods much faster than sampling methods. Finally, we demonstrate that Black Box Variational Inference lets us easily explore a wide space of models by quickly constructing and evaluating several models of longitudinal healthcare data.

연구 동기 및 목표

• 모델에 특화된 변분 추론 알고리즘을 유도하는 분석적 부담을 줄이기 위해.
• 각 모델에 대해 광범위한 도출 없이 다양한 확률적 모델의 빠른 프로토타이핑과 평가를 가능하게 하기 위해.
• 비공액 및 복잡한 잠재 변수 모델 전반에 걸쳐 작동하는 일반적인 추론 방법을 개발하기 위해.
• 블랙박스 샘플링 방법과 비교해 수렴 속도와 예측 성능을 향상시키기 위해.
• 종단 간 및 고차원 데이터 설정에서 스케일링 가능하고 효율적인 사후 근사 추정을 촉진하기 위해.

제안 방법

• 이 방법은 변분 추론을 변분 분포에서의 몬테카를로 샘플링을 통해 기울기를 추정하는 기초로 삼는 기초 하한값(ELBO)의 확률적 최적화로 공식화한다.
• ELBO의 기울기는 변분 분포에 대한 기대값으로 표현되며, 이는 편향 없는 확률적 기울기 추정을 가능하게 한다.
• 조건부 독립성을 변분 분포에서 활용함으로써 분산을 감소시키는 라오-블랙웰라이제이션을 통해 분산 감소를 달성한다.
• 모델에 특화된 도출 없이도 기울기 분산을 추가로 감소시키기 위해 로그-변분 밀도를 기반으로 한 제어 변수를 사용한다.
• 수렴 속도를 가속화하고 대규모 데이터셋에 스케일링하기 위해 적응형 학습률(예: AdaGrad)과 데이터 서브샘플링을 활용한다.
• 이 방법은 오직 모델의 로그우도와 로그-변분 밀도를 평가할 수 있음만으로도 임의의 모델에 적용 가능하다.

실험 결과

연구 질문

• RQ1 모델당 최소한의 도출만 필요로 하는 일반적이고 모델에 종속되지 않는 변분 추론 알고리즘을 개발할 수 있는가?
• RQ2 모델에 특화된 계산 없이도 확률적 변분 추론에서 기울기 분산을 어떻게 감소시킬 수 있는가?
• RQ3 제안된 블랙박스 방법이 수렴 속도와 예측 성능 면에서 블랙박스 샘플링 방법을 능가하는가?
• RQ4 이 방법은 실질적으로 복잡한 비공액 모델의 넓은 범위에 걸쳐 효율적인 탐색을 가능하게 하는가?
• RQ5 이 방법은 대규모 데이터셋과 고차원 잠재 공간에 어떻게 스케일링되는가?

주요 결과

• BBVI는 메트로폴리스-헤스팅스-인-지브스 샘플링보다 훨씬 더 빠른 수렴 속도를 보이며 더 나은 예측 가능성을 달성하여, 우수한 수렴 속도를 입증한다.
• 감마-정규-티에스 모델은 -32.7의 예측 가능성을 달성하여 감마-감마-티에스 모델(-174)을 능가했으며, 이는 종단 간 구조와 상관관계 모델링이 핵심임을 시사한다.
• 감마-감마 모델은 성능이 열악했으며(-175의 가능도), 이는 랩 측정치 간의 음의 상관관계를 포착하지 못하기 때문일 것이다.
• BBVI는 종단 간 의료 데이터에서 비공액 모델 네 가지의 빠른 평가를 가능하게 했으며, 이는 기존의 변분 방법을 사용할 경우 상당한 도출이 필요했을 것이다.
• 적응형 학습률과 데이터 서브샘플링의 사용은 확장성과 수렴 속도를 크게 향상시켰다.
• 라오-블랙웰라이제이션과 제어 변수와 같은 분산 감소 기법은 수렴 속도를 빠르게 하며, 방법의 블랙박스 성격을 유지하는 데 필수적이었다.