[논문 리뷰] Stochastic Variational Inference

Matt Hoffman, David M. Blei외 2명|arXiv (Cornell University)|2012. 06. 29.

Bayesian Methods and Mixture Models참고 문헌 99인용 수 27

한 줄 요약

이 논문은 대규모 확률 모델에서의 근사 베이지안 추론을 위한 스케일러블한 방법인 스토하스틱 변분 추론(SVI)을 소개한다. 배치 최적화를 데이터의 미니배치를 사용한 확률적 경량 최적화로 대체함으로써, SVI는 거대한 데이터셋에서도 효율적인 추론을 가능하게 한다—최대 380만 건의 문서를 포함한 토픽 모델에서 성능을 입증하였다. 기존의 변분 추론보다 빠르고 확장성이 뛰어나면서도 정확도를 유지한다.

ABSTRACT

We develop stochastic variational inference, a scalable algorithm for approximating posterior distributions. We develop this technique for a large class of probabilistic models and we demonstrate it with two probabilistic topic models, latent Dirichlet allocation and the hierarchical Dirichlet process topic model. Using stochastic variational inference, we analyze several large collections of documents: 300K articles from Nature, 1.8M articles from The New York Times, and 3.8M articles from Wikipedia. Stochastic inference can easily handle data sets of this size and outperforms traditional variational inference, which can only handle a smaller subset. (We also show that the Bayesian nonparametric topic model outperforms its parametric counterpart.) Stochastic variational inference lets us apply complex Bayesian models to massive data sets.

연구 동기 및 목표

• 기존의 변분 추론이 거대한 데이터셋에 적용될 때 발생하는 확장성 문제를 해결하기 위해.
• 대규모 문서 컬렉션과 기타 고차원 데이터에 적합한 일반적인 추론 알고리즘을 개발하기 위해.
• 표준 추론 방법으로는 처리할 수 없는 너무 큰 데이터셋에서도 복잡한 베이지안 모델, 특히 비모수적 모델의 사용을 가능하게 하기 위해.
• Nature, 뉴욕 타임스, 위키백과에서 확보한 데이터를 사용하여 실제 세계의 대규모 토픽 모델링 작업에 대해 이 방법의 효과성을 입증하기 위해.

제안 방법

• 기존의 변분 추론에서의 배치 좌표 상승법을, 데이터의 미니배치에서 유도된 노이즈가 있는 기울기 추정치를 사용한 스케일러블 최적화로 대체한다.
• 수렴성과 안정성을 향상시키기 위해 변분 매개변수 공간에서 자연 기울기 업데이트를 적용한다.
• 전역 및 국소 잠재 변수를 포함한 모델의 경우, 알고리즘은 국소 변분 매개변수 업데이트와 미니배치 데이터를 사용한 전역 매개변수의 스트로스틱 업데이트를 번갈아가며 수행한다.
• 지수가족 모델에 대해 유도된 알고리즘은 충분통계량과 기대값의 효율적 계산을 가능하게 한다.
• 핵심 혁신은 전역 매개변수를 업데이트하기 위해 편향이 없는 스트로스틱 기울기를 사용하는 것으로, 수렴을 보장하기 위해 시간이 지남에 따라 감소하는 학습률을 사용한다.
• 이 방법은 파rametric 및 비모수적 베이지안 모델 모두를 지원하며, 잠재 디리클레 분포(LDA)와 계층적 디리클레 과정 주제 모델을 포함한다.

실험 결과

연구 질문

• RQ1 기존의 배치 방법으로는 계산이 불가능한 거대한 데이터셋에 대해 변분 추론을 어떻게 스케일링할 수 있는가?
• RQ2 스토하스틱 최적화를 어떻게 변분 추론과 효과적으로 조합하여 정확도를 유지하면서도 속도를 향상시킬 수 있는가?
• RQ3 제안된 방법이 대규모 데이터에서 수렴 속도와 최종 모델 품질 측면에서 표준 변분 추론을 능가하는가?
• RQ4 스토하스틱 변분 추론은 계층적 디리클레 과정과 같은 비모수적 베이지안 모델에 적용될 수 있으며, 성능 향상이 이루어지는가?
• RQ5 후행 근사의 맥락에서 스트로스틱 기울기 업데이트의 이론적 및 경험적 성질은 무엇인가?

주요 결과

• 스토하스틱 변분 추론은 최대 380만 건의 문서, 즉 뉴욕 타임스의 180만 건과 네이처의 30만 건을 포함한 데이터셋에 성공적으로 스케일링되었다.
• 기존의 배치 변분 추론은 수십만 건 이상의 데이터셋에서는 성능이 떨어지지만, SVI는 더 빠른 수렴과 더 짧은 학습 시간을 달성하였다.
• 비모수적 베이지안 주제 모델인 계층적 디리클레 과정은 예측 가능도와 주제 일관성 측면에서 파라미터 모델인 LDA보다 우수한 성능을 보였다.
• 감소하는 학습률을 사용한 스트로스틱 업데이트는 증거 하한값(ELBO)의 정적점에 수렴함을 보장한다.
• 편향이 없는 스트로스틱 기울기와 자연 매개변수 업데이트를 통해, 작은 미니배치를 사용하더라도 높은 품질의 후행 근사를 유지할 수 있었다.
• 경험적 결과는 SVI가 대규모 텍스트 코퍼스에서 배치 방법과 비교해 유사하거나 더 뛰어난 성능을 내면서도 학습 시간을 수개월 단위로 줄임을 보여주었다.