[論文レビュー] Gradient-based training of Gaussian Mixture Models in High-Dimensional Spaces

Alexander Gepperth, Benedikt Pfülb|arXiv (Cornell University)|Sep 25, 2019

Gaussian Processes and Bayesian Inference参考文献 21被引用数 4

ひとこと要約

この論文は、高次元空間における混合ガウス分布（GMM）の勾配ベースの学習手法を提案する。確率的勾配降下法（SGD）を用い、数値的に安定した対数尤度の下界を活用することで、大規模で非定常なデータセットに対しても効率的かつメモリ効率の良い学習が可能になる。この手法はEM法と同等の対数尤度性能を達成し、小規模バッチサイズと短い学習時間を実現する。

ABSTRACT

We present an approach for efficiently training GMMs solely with Stochastic Gradient Descent (SGD) on huge amounts of non-stationary, high-dimensional data. In such scenarios, SGD is superior to the traditionally Expectation-Maximization (EM) algorithm w.r.t. execution time and memory usage, and additional admits the use of small batch sizes. To use SGD in high-dimensional spaces, we propose to maximize a lower bound of a GMMs log-likelihood, which we prove to be feasible, justifiable by experiments and numerically stable. Since SGD seems more prone to get stuck in local optima than EM during early training phases, we introduce an annealing procedure that initially penalizes a large class of degenerate solutions before transitioning into a normal training regime. Experiments on several image datasets show that our approach is realizable, efficient and achieves comparable log-likelihood values as EM in a variety of scenarios. A TensorFlow implementation is provided to allow for reproduction.

研究の動機と目的

• 高次元で大規模かつ非定常なデータ環境において、期待最大化（EM）アルゴリズムの非効率性を解消すること。
• EM法が計算的に非現実的となる高次元空間において、確率的勾配降下法（SGD）を用いたGMMのエンドツーエンド学習を可能にすること。
• SGDに適した微分可能で、高次元設定におけるミニバッチ学習に適した、真のGMM対数尤度の下界をなす数値的に安定した目的関数を設計すること。
• SGDが初期学習段階で劣悪な局所最適解に収束する傾向を抑えるために、構造的なアニーリング手順を導入すること。
• 実世界の画像データセットにおいて、SGDベースのGMM学習がEM法と同等の対数尤度性能を達成することを示すこと。

提案手法

• 正確な尤度の代わりに対数尤度の下界を最大化することで、SGD最適化中の数値的安定性を確保する。
• 目的関数を、高次元設定におけるミニバッチ学習に適した微分可能関数として定式化する。
• 初期学習段階で、崩壊した成分（例：凝集した成分）をペナルティ化するアニーリングスケジュールを導入し、最適化の安定性を向上させる。
• 時間経過とともにペナルティ項を段階的に減少させ、正則化された状態から通常のSGD学習へと段階的に移行する。
• 再パラメータライゼーショントリックとモンテカルロサンプリングを用いて、下界の勾配を効率的に推定する。
• 再現性とディープラーニングパイプラインへの統合を可能にするために、TensorFlowを用いて実装する。

実験結果

リサーチクエスチョン

• RQ1 EM法が遅すぎてメモリを多く消費する高次元空間において、SGDがGMMの学習に効果的に適用可能かどうか。
• RQ2 GMM対数尤度の下界が、EM法と比較して競争力のある性能を達成できるかどうか。
• RQ3 提案されたアニーリング手順が、初期学習段階における収束性を著しく向上させ、劣悪な局所最適解を回避するかどうか。
• RQ4 大規模で非定常なデータセットにおいて、EM法と比較して、この手法の学習時間とメモリ使用量のスケーリング特性はどうか。
• RQ5 小規模バッチサイズとオンライン学習をサポートしながら、EM法と同等の対数尤度値を達成できるかどうか。

主な発見

• 提案されたGMM対数尤度の下界は数値的に安定しており、高次元設定におけるSGDによる効果的な学習を可能にする。
• アニーリング手順により、初期学習段階における劣化解への収束リスクが著しく低減され、最適化の信頼性が向上した。
• 画像データセットにおいて、EMアルゴリズムが得るのと同等の対数尤度値が達成された。
• EM法よりもSGDによる学習が著しく高速かつメモリ効率が良く、特に大規模で非定常なデータに対して顕著である。
• 小規模バッチサイズをサポートしており、オンライン学習に適しており、実世界の導入に実用的である。
• 公開のTensorFlow実装が提供されており、完全な再現性と既存の機械学習ワークフローへの統合を可能にしている。