[논문 리뷰] Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching

Priyank Jaini, Pascal Poupart|arXiv (Cornell University)|2016. 09. 19.

Bayesian Methods and Mixture Models참고 문헌 12인용 수 5

한 줄 요약

이 논문은 온라인 및 분산 환경에서 가우시안 믹스처 모델(GMMs)을 학습하기 위한 새로운 방법인 온라인 베이지안 모멘트 매칭(oBMM)을 제안한다. 이 방법은 추론이 어려운 사후분포를 추론이 가능한 분포 가족으로 투영함으로써 모멘트 매칭을 통해 다루기 쉬운 형태로 변환한다. 이 접근법은 정확도와 속도 면에서 온라인 EM보다 뛰어나며, 10개 데이터셋 중 9개에서 더 높은 로그우도(log-likelihood)를 기록했고, oDMM는 정확도 손실이 최소한이면서도 확장 가능한 분산 추론을 가능하게 했다.

ABSTRACT

The Gaussian mixture model is a classic technique for clustering and data modeling that is used in numerous applications. With the rise of big data, there is a need for parameter estimation techniques that can handle streaming data and distribute the computation over several processors. While online variants of the Expectation Maximization (EM) algorithm exist, their data efficiency is reduced by a stochastic approximation of the E-step and it is not clear how to distribute the computation over multiple processors. We propose a Bayesian learning technique that lends itself naturally to online and distributed computation. Since the Bayesian posterior is not tractable, we project it onto a family of tractable distributions after each observation by matching a set of sufficient moments. This Bayesian moment matching technique compares favorably to online EM in terms of time and accuracy on a set of data modeling benchmarks.

연구 동기 및 목표

• 스토케스틱 E-단계 근사로 인해 데이터 효율성이 떨어지고 순차적 업데이트로 인해 병렬 처리가 어려운 온라인 EM의 한계를 해결한다.
• 다루기 쉬운 사후분포 근사 기법을 활용한 베이지안 추론을 통해 온라인 및 분산 환경에서 GMM의 확장 가능한 정확한 매개변수 추정을 가능하게 한다.
• 단일 패assing 학습 환경에서도 높은 정확도를 유지하면서 동시에 여러 프로세서 간에 효율적으로 분포가 가능하도록 하는 방법을 개발한다.
• 모멘트 매칭 기반의 베이지안 근사가 스토케스틱 온라인 EM보다 수렴 속도와 모델 우도 면에서 뛰어나다는 것을 입증한다.

제안 방법

• 베이즈 정리에 따라 각 관측치 이후에 사후분포를 갱신함으로써 온라인 학습을 가능하게 한다.
• 모멘트 매칭을 통해 추론이 어려운 사후분포를 다루기 쉬운 분포 가족(곱의 딜레르트 및 노멀-위샤르트 분포)으로 투영함으로써 근사한다.
• 진정한 사후분포의 충분통계량(예: 평균, 공분산)과 근사 사후분포의 충분통계량을 매칭시켜 통계적 정밀도를 확보한다.
• 데이터를 기계 간에 분할하여 각각 독립적으로 국소 사후분포를 계산하고, 사후분포를 사전분포로 나누어 곱셈 형태로 조합함으로써 분산 계산을 가능하게 한다.
• M개의 성분을 가진 GMM에 적용하며, 충분통계량을 사용해 매개변수(가중치, 평균, 공분산)를 순차적으로 갱신한다.
• 해석적 갱신과 모멘트 매칭을 지원하기 위해 공액 사전분포 구조(혼합 가중치에는 딜레르트, 평균과 공분산에는 노멀-위샤르트)를 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 모멘트 매칭은 스트리밍 GMM 학습에서 온라인 EM보다 더 정확하고 효율적인 대안이 될 수 있는가?
• RQ2 온라인 베이지안 모멘트 매칭의 성능은 수렴 속도와 테스트 데이터의 로그우도 측면에서 온라인 EM과 비교해 어떻게 되는가?
• RQ3 베이지안 모멘트 매칭 프레임워크는 정확도 손실이 크지 않게 여러 기계에 분산될 수 있는 정도는 어느 정도인가?
• RQ4 스토케스틱 E-단계 근사와는 달리 모멘트 매칭 기반의 사후분포 근사가 자체적인 근사 오차를 유발함에도 불구하고, 온라인 EM의 성능을 능가할 수 있는가?
• RQ5 제안된 베이지안 모멘트 매칭 프레임워크를 사용해 온라인으로 GMM의 성분 수를 학습하는 것은 가능한가?

주요 결과

• 온라인 베이지안 모멘트 매칭(oBMM)은 10개의 벤치마크 데이터셋 중 9개에서 온라인 EM보다 유의미하게 높은 로그우도 점수를 기록했으며, p-값 < 0.05로 통계적 유의성을 확보했다.
• 390만 개의 인스턴스를 가진 Heterogeneity 데이터셋에서 oBMM는 로그우도 -174.3을 기록했고, oEM(-176.2)과 oDMM(-180.7)를 모두 앞서는 뛰어난 정확도를 보였다.
• 분산 버전인 온라인 분산 모멘트 매칭(oDMM)은 Heterogeneity 데이터셋에서 실행 시간을 17.5초로 줄였으며, oEM는 77.3초, oBMM는 81.7초였다.
• oDMM는 Heterogeneity 데이터셋에서 -180.7의 경쟁력 있는 로그우도를 기록했고, oBMM(-174.3)에 비해 정확도 손실이 거의 없음을 보여주었다.
• oBMM는 단일 패assing으로 수렴했고, oEM는 수렴하기 위해 다수의 패assing이 필요하므로 스트리밍 환경에서 oBMM의 우월성이 뚜렷했다.
• 고차원(Year MSD, 91개 특성) 및 대규모(MiniBooNe, 13만 개 인스턴스) 데이터셋을 포함한 다양한 데이터셋에 대해 강건한 성능을 보였다.