[論文レビュー] An Alternative to EM for Gaussian Mixture Models: Batch and Stochastic Riemannian Optimization

Reshad Hosseini, Suvrit Sra|arXiv (Cornell University)|Jun 10, 2017

Bayesian Methods and Mixture Models参考文献 28被引用数 5

ひとこと要約

本稿では、期待最大化（EM）アルゴリズムのスケーラブルな代替手法として、ガウス・ミックスチャネル・モデル（GMM）のパラメータ推定のためのリーマン最適化フレームワークを提案する。正定値行列の多様体上での測地線凸性を保証するように尤度問題を再定式化することにより、バッチおよび確率的リーマン最適化アルゴリズムを開発し、収束速度とスケーラビリティにおいてEMを上回る。本稿では、多様体上での確率的リーマン勾配法に対する非漸近的収束解析が初めてなされた。

ABSTRACT

We consider maximum likelihood estimation for Gaussian Mixture Models (Gmms). This task is almost invariably solved (in theory and practice) via the Expectation Maximization (EM) algorithm. EM owes its success to various factors, of which is its ability to fulfill positive definiteness constraints in closed form is of key importance. We propose an alternative to EM by appealing to the rich Riemannian geometry of positive definite matrices, using which we cast Gmm parameter estimation as a Riemannian optimization problem. Surprisingly, such an out-of-the-box Riemannian formulation completely fails and proves much inferior to EM. This motivates us to take a closer look at the problem geometry, and derive a better formulation that is much more amenable to Riemannian optimization. We then develop (Riemannian) batch and stochastic gradient algorithms that outperform EM, often substantially. We provide a non-asymptotic convergence analysis for our stochastic method, which is also the first (to our knowledge) such global analysis for Riemannian stochastic gradient. Numerous empirical results are included to demonstrate the effectiveness of our methods.

研究の動機と目的

• GMMにおける共分散行列の正定値制約を扱う際、標準的な非線形最適化手法の限界を克服すること。
• 高次元においても収束のボトル neck を回避する、GMMパラメータ推定のためのスケーラブルなEMアルゴリズムの代替手法を開発すること。
• 尤度関数を再定式化することで、正定値行列のリーマン多様体上での測地線凸性を保証し、その多様体上での効率的な最適化を可能にすること。
• ペナルティ付きGMM尤度最大化に適用可能な、多様体上での確率的リーマン勾配降下法の非漸近的収束解析を提供すること。
• 多様な次元数および成分数を有する実世界データセットにおいて、リーマン最適化の有効性を実証すること。

提案手法

• 正定値行列の多様体上での測地線凸性を保証するように、GMM対数尤度最大化問題を再定式化し、ナードなリーマン手法の失敗を克服する。
• 正定値行列の多様体のリーマン幾何を用いて、GMM推定を制約付き最適化問題として定式化し、共分散行列の正定値性を内蔵的に保持する。
• 再帰的写像とベクトル輸送を用いて、バッチおよび確率的リーマン最適化アルゴリズムを開発し、指数写像とユークリッド再帰的写像を用いて計算効率を向上させる。
• バッチサイズをデータ次元数に等しく設定し、指数的ステップサイズ減衰を用いたリーマン確率的勾配降下法（RSGD）を適用することで、スケーラビリティを向上させる。
• 問題の構造を活用して、多様体上での勾配およびヘッセ行列の近似の効率的計算を可能にする。
• 並進輸送および再帰的写像技術を用いて、最適化中の数値安定性を維持し、収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 標準的な非線形手法の限界を克服するため、GMMパラメータ推定にリーマン最適化フレームワークを効果的に適用できるか。
• RQ2 GMM尤度のナードなリーマン定式化がなぜEMに競合できないのか。問題の幾何構造をどのように再設計すれば、効果的なリーマン最適化が可能になるか。
• RQ3 大規模なGMM問題において、確率的リーマン最適化はEMを上回る収束速度を達成できるか。
• RQ4 多様体上でのリーマン確率的勾配降下法の非漸近的収束挙動は何か。GMMに適用可能な理論的解析は可能か。
• RQ5 提案されたリーマンフレームワークは、次元数や成分数が異なる実世界データセットにおいて、どのようにスケーリングするか。

主な発見

• 提案されたGMM尤度問題の再定式化により、リーマン最適化はEMを上回る収束速度を達成し、合成および実世界データセットの両方で顕著な向上が観察された。
• リーマン確率的勾配降下法（RSGD）は、目的関数値の初期段階での急激な上昇を示し、EMおよび他の手法と比較して優れた初期収束を示した。
• 決定的リーマン最適化手法は、corel、yearpredict、wine、および自然画像を含むすべてのテストデータセットで、EMと同等またはそれを上回る性能を示した。
• リーマン確率的勾配降下法の非漸近的収束解析により、O(1/√T)の反復複雑度バウンドが得られ、これは確率的リーマン最適化における最初のこのような結果である。
• 実験的結果から、ユークリッド再帰的写像を用いたRSGDは、より高価な指数写像と同等の性能を示し、計算効率の良い再帰的写像が効果的な最適化に十分であることが示された。
• 本手法は多様なパrameter設定および次元数にわたりロバストであり、EMおよびLBFGSや共役勾配法などの他の標準ソルバーと比較して一貫した性能向上を示した。