[論文レビュー] Manifold Optimization for Gaussian Mixture Models

Reshad Hosseini, Suvrit Sra|arXiv (Cornell University)|Jun 25, 2015

Bayesian Methods and Mixture Models参考文献 33被引用数 6

ひとこと要約

本稿では、ガウス・ミックスチャネル・モデル（GMM）のパラメータ推定にリーマン多様体最適化を提案し、多様体の凸性を可能にする再パrametrizationにより、期待尤度最大化（EM）アルゴリズムと同等またはそれ以上の性能を達成できることを示している。正定値行列の多様体上での最適化を再定式化し、効果的なラインサーチを備えた特化した多様体LBFGSソルバを用いることで、特に高次元または悪条件な設定において、収束速度と安定性に優れた性能を達成している。

ABSTRACT

We take a new look at parameter estimation for Gaussian Mixture Models (GMMs). In particular, we propose using \emph{Riemannian manifold optimization} as a powerful counterpart to Expectation Maximization (EM). An out-of-the-box invocation of manifold optimization, however, fails spectacularly: it converges to the same solution but vastly slower. Driven by intuition from manifold convexity, we then propose a reparamerization that has remarkable empirical consequences. It makes manifold optimization not only match EM---a highly encouraging result in itself given the poor record nonlinear programming methods have had against EM so far---but also outperform EM in many practical settings, while displaying much less variability in running times. We further highlight the strengths of manifold optimization by developing a somewhat tuned manifold LBFGS method that proves even more competitive and reliable than existing manifold optimization tools. We hope that our results encourage a wider consideration of manifold optimization for parameter estimation problems.

研究の動機と目的

• 共変動行列の正定値性制約のため、非線形最適化手法をGMMに適用する長年の課題に対処すること。
• 標準的な多様体最適化がGMMで失敗するのを克服すること—収束が遅く、EMの性能に達しない。
• 単一成分GMMにおいて、対数尤度関数を多様体上で凸にする再パラメータ化戦略を開発すること。
• 収束性と性能を向上させるために、高度なラインサーチ手順を備えた頑健な多様体LBFGSソルバを設計すること。
• 合成データおよび実世界のデータセットを用いた実験により、多様体最適化がEMと同等またはそれを上回る速度、一貫性、耐性を示すことを実証すること。

提案手法

• 対称正定値行列のリーマン多様体上での最適化問題としてGMMパラメータ推定を定式化し、正定値性制約を暗黙的に満たす。
• 共分散行列の行列対数を用いた再パラメータ化を導入し、単一ガウス分布において対数尤度関数が測地線的に凸になる空間に問題を変換する。
• 信頼領域に類似したラインサーチを備えた多様体LBFGSアルゴリズムを実装し、リーマン多様体上での十分な減少と収束を保証する。
• ManOptツールボックスを用いて多様体共役勾配（CG）法を実装する一方で、性能向上を目的に、独自にチューニングされたLBFGSの変種を開発する。
• 再パラメータ化された空間を活用し、パrameter空間の幾何構造を保持したまま効率的な最適化を可能にする。
• 分離度や楕円度が異なる合成データおよび実画像パッチに本手法を適用し、耐性とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 初期性能が低いため、EMと同等の性能を達成できるか、リーマン多様体最適化をGMMパラメータ推定に適用できるか？
• RQ2 正定値行列の多様体上での対数尤度関数を測地線的に凸にする幾何的再パラメータ化が存在するか？
• RQ3 特化した多様体LBFGS法は、EMおよび標準的な多様体共役勾配法よりも収束速度と安定性に優れるか？
• RQ4 さまざまなデータ設定において、多様体最適化の収束時間と尤度値はEMと比べてどの程度異なるか？
• RQ5 再パラメータ化により、GMMにおける重なりのある成分や悪条件問題に対する感受性がどの程度低減されるか？

主な発見

• そのままの多様体最適化ではEMに劣り、制約を満たしながらも顕著に収束が遅く、EMの性能に達しない。
• 提案された再パラメータ化—共分散行列の行列対数を用いたもの—により、単一成分の対数尤度関数が測地線的に凸になり、有効な最適化が可能になる。
• 再パラメータ化により、多様体最適化はEMと同等の尤度値を達成するが、収束時間は著しく速くかつ一貫性がある。
• 分離度が低い合成データ（c=0.2）において、K=5成分の場合、EMは396秒以上を要するが、再パラメータ化LBFGSでは156秒で収束し、2.5倍の高速化を達成した。
• 実画像パッチ（d=35）において、K=10の場合、再パラメータ化多様体LBFGSは658秒で収束するが、EMは2159秒を要し、3.3倍の高速化を達成した。非再パラメータ化CGに比べて26倍も速い。
• 本手法はデータの重なりに対して感受性が低く、特に高次元または悪条件な設定において、EMよりもランニング時間の分散が小さい。