[논문 리뷰] Gradient-based training of Gaussian Mixture Models in High-Dimensional Spaces

Alexander Gepperth, Benedikt Pfülb|arXiv (Cornell University)|2019. 09. 25.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 4

한 줄 요약

이 논문은 고차원 공간에서 가우시안 믹스처 모델(GMMs)을 확률적 경사하강법(SGD)을 사용해 기울기 기반으로 훈련하는 방법을 제안한다. 이는 수치적으로 안정적인 로그우도 하한을 활용하여 대규모 비정적 데이터셋에서 효율적이고 메모리 효율적인 훈련을 가능하게 한다. 이 방법은 EM 알고리즘과 유사한 로그우도 성능을 달성하면서도 소규모 배치 크기와 단축된 훈련 시간을 지원한다.

ABSTRACT

We present an approach for efficiently training GMMs solely with Stochastic Gradient Descent (SGD) on huge amounts of non-stationary, high-dimensional data. In such scenarios, SGD is superior to the traditionally Expectation-Maximization (EM) algorithm w.r.t. execution time and memory usage, and additional admits the use of small batch sizes. To use SGD in high-dimensional spaces, we propose to maximize a lower bound of a GMMs log-likelihood, which we prove to be feasible, justifiable by experiments and numerically stable. Since SGD seems more prone to get stuck in local optima than EM during early training phases, we introduce an annealing procedure that initially penalizes a large class of degenerate solutions before transitioning into a normal training regime. Experiments on several image datasets show that our approach is realizable, efficient and achieves comparable log-likelihood values as EM in a variety of scenarios. A TensorFlow implementation is provided to allow for reproduction.

연구 동기 및 목표

• 기하학적 차원이 높고 대규모이며 비정적 데이터 환경에서 기대최대화(EM) 알고리즘이 비효율적인 문제를 해결하기 위해.
• EM이 계산적으로 비현실적인 고차원 공간에서 기대최대화(EM) 알고리즘을 사용할 수 없는 상황에서 확률적 경사하강법(SGD)을 통한 GMM의 종단간 훈련을 가능하게 하기 위해.
• SGD에 사용할 수 있도록 수치적으로 안정적인 목표 함수를 설계하여 진짜 GMM 로그우도의 하한을 제공하기 위해.
• SGD가 초기 훈련 단계에서 열악한 국소 최적해로 수렴하는 경향을 완화하기 위해 체계적인 온도 조절 절차를 도입하기 위해.
• 실제 이미지 데이터셋에서 EM과 유사한 로그우도 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 정확한 우도 대신 GMM 로그우도의 하한을 최대화하여 SGD 최적화 중 수치적 안정성을 확보하기 위해.
• 고차원 환경에서 소규모 배치 훈련에 적합하고 계속 미분 가능한 목표 함수를 구성하기 위해.
• 초기 훈련 단계에서 붕괴된 성분 등 열악한 해를 방지하기 위해 처음에는 이를 강하게 처벌하는 온도 조절 스케줄을 도입하기 위해.
• 시간이 지남에 따라 처벌 항목을 점차 줄여 정규화된 영역에서 표준 SGD 훈련으로 전환하기 위해.
• 하한의 기울기를 효율적으로 추정하기 위해 재구성 기법과 몬테카를로 샘플링을 사용하기 위해.
• 재현 가능性和 딥러닝 파ip라인에의 통합을 지원하기 위해 TensorFlow에 이 방법을 구현하기 위해.

실험 결과

연구 질문

• RQ1 EM이 너무 느리고 메모리 소비가 크기 때문에 고차원 공간에서 GMM을 훈련하는 데에 SGD를 효과적으로 사용할 수 있는가?
• RQ2 GMM 로그우도의 하한이 EM과 비교해 경쟁 가능한 성능을 달성하는 데에 충분한가?
• RQ3 제안된 온도 조절 절차가 초기 훈련 단계에서 수렴성과 열악한 국소 최적해를 피하는 데에 실제로 유의미한 개선을 이끌어내는가?
• RQ4 대규모 비정적 데이터셋에서 EM과 비교해 이 방법의 훈련 시간과 메모리 사용량은 어떻게 스케일링되는가?
• RQ5 소규모 배치 크기와 온라인 학습을 지원하면서도 EM과 유사한 로그우도 값을 달성할 수 있는가?

주요 결과

• 제안된 GMM 로그우도 하한은 수치적으로 안정적이며 고차원 환경에서 SGD를 통한 효과적인 훈련을 가능하게 한다.
• 온도 조절 절차는 초기 훈련 단계에서 열악한 해로 수렴할 위험을 효과적으로 줄여 최적화의 신뢰성을 향상시킨다.
• 이 방법은 이미지 데이터셋에서 EM 알고리즘으로 얻는 것과 유사한 로그우도 값을 달성한다.
• EM보다 훈련이 훨씬 빠르고 메모리 효율적이며, 특히 대규모 비정적 데이터에서 두드러진다.
• 소규모 배치 크기와 온라인 학습을 지원하므로 실세계 적용에 실용적이다.
• 공개된 TensorFlow 구현이 제공되어 재현 가능성과 기존 머신러닝 워크플로우에의 통합을 보장한다.