[논문 리뷰] Streaming Variational Bayes

Tamara Broderick, Nicholas Boyd외 3명|arXiv (Cornell University)|2013. 07. 25.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 120

한 줄 요약

이 논문은 변분 베이즈를 근본적인 근사 기법으로 사용하는 스트리밍, 분산, 비동기적 프레임워크인 SDA-Bayes를 소개한다. 각 데이터 배치 이후 실시간로스터이터를 업데이트할 수 있도록 하여, 스트리밍 변분 베이즈의 한계인 총 데이터 크기 D를 사전에 정해야 하는 요구사항을 극복하며, 대규모 문서 컬렉션에 대한 LDA 모델에서 뛰어난 성능을 보여준다.

ABSTRACT

We present SDA-Bayes, a framework for (S)treaming, (D)istributed, (A)synchronous computation of a Bayesian posterior. The framework makes streaming updates to the estimated posterior according to a user-specified approximation batch primitive. We demonstrate the usefulness of our framework, with variational Bayes (VB) as the primitive, by fitting the latent Dirichlet allocation model to two large-scale document collections. We demonstrate the advantages of our algorithm over stochastic variational inference (SVI) by comparing the two after a single pass through a known amount of data---a case where SVI may be applied---and in the streaming setting, where SVI does not apply.

연구 동기 및 목표

• 스트리밍 변분 베이즈(SVI)의 한계를 해결한다. SVI는 후행 추정을 위해 고정된 사전 지정된 총 데이터 크기 D가 필요하다.
• 각 데이터 배치 이후에 후행 분포를 점진적으로 업데이트할 수 있는 진정된 스트리밍 베이지안 추론을 가능하게 한다. 이는 지금까지 처리한 문서 수를 반영한다.
• 대규모 데이터 워크로드에 적합한 분산 및 비동기 계산과 호환되는 확장 가능한 프레임워크를 개발한다.
• 위키피디아 및 네이처와 같은 실제 문서 컬렉션을 사용하여 잠재 딜리클레 분포(LDA) 모델에서 프레임워크의 효과성을 입증한다.
• 학습률 및 데이터 크기 추정치와 같은 하이퍼파rameter에 민감한 SVI의 문제점을 해결한다. D가 잘못 추정될 경우 성능이 저하되는 것을 방지한다.

제안 방법

• 각 새로운 데이터 미니배치가 이전의 후행 분포를 사전 분포로 사용하여 후행 분포를 재귀적으로 업데이트하는 프로세스를 수립한다.
• 각 미니배치 이후 후행 분포 근사를 계산하기 위해 사용자 지정 근사 기법으로 변분 베이즈(VB)를 사용한다.
• 스트리밍 업데이트 규칙 정의: $ q_b(\Theta) = \mathcal{A}(C_b, q_{b-1}(Θ)) $, 여기서 $ \mathcal{A} $ 는 현재 미니배치와 이전 단계의 사전 분포를 기반으로 VB를 적용한다.
• 순차적 종속성에서 업데이트 프로세스를 분리하여 분산 및 비동기 계산을 지원한다.
• LDA에 프레임워크를 적용하기 위해 각 문서 미니배치 이후 주제 분포에 대한 후행 분포 근사를 VB로 수행한다.
• 각 데이터 포인트당 일정한 수의 연산을 사용하여 과거 데이터를 재방문하지 않아도 되는 확장성과 실시간 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 진정한 스트리밍 업데이트를 지원하는 베이지안 추론 프레임워크를 설계할 수 있는가? 이는 지금까지 처리한 문서 수를 반영한 후행 분포를 제공해야 한다.
• RQ2 총 데이터 크기 D가 알려지지 않았거나 잘못 추정되었을 경우, SDA-Bayes의 성능은 스트리밍 변분 베이즈(SVI)와 비교해 어떻게 되는가?
• RQ3 스트리밍 환경에서 학습률 및 미니배치 크기와 같은 하이퍼파rameter 선택에 대해 SDA-Bayes는 얼마나 강인한가?
• RQ4 정확도와 수렴성을 유지하면서도 분산 시스템에서 효율적으로 병렬화되고 확장 가능한가?
• RQ5 스트리밍 환경에서 변분 베이즈를 근본적인 근사 기법으로 사용할 경우, LDA 모델에서 기대값 전파(EP)와 같은 대안 방법보다 성능이 뛰어나게 되는가?

주요 결과

• SDA-Bayes는 각 미니배치 이후 근사 후행 분포를 성공적으로 계산하여, 사전에 총 데이터 크기 D를 지정하지 않아도 실시간 추론이 가능하다.
• SVI와는 달리, 진짜 데이터 크기 D가 알려지지 않았거나 잘못 추정되었을 경우에도 SDA-Bayes는 안정적인 성능을 유지한다. 진짜 크기의 0.01배에서 100배까지 다양하게 변동하는 D 값에 대한 민감도 분석 결과에서 이를 입증하였다.
• D가 잘못 추정되었을 경우 SVI의 성능은 심각하게 저하되며, 일부 사례에서는 로그 예측 확률이 1.5단위 이상 감소한다. 반면 SDA-Bayes는 강인성을 유지한다.
• SVI는 스텝 사이즈 파rameter에 매우 민감하여 교차 검증이 필요로 하지만, SDA-Bayes는 학습률 튜닝에 민감하지 않다.
• EP 기반 SDA-Bayes는 LDA에서 수렴에 실패하여 위키피디아에서는 91시간 이상, 네이처에서는 97시간 이상 소요되었고, 각각 로그 예측 확률이 약 -7.95와 -8.02 수준이었다.
• VB 기반 SDA-Bayes는 대규모 문서 컬렉션에서 안정적이고 정확한 추론을 달성하여 스트리밍 환경에서의 확장성과 적응성을 입증하였다.