[論文レビュー] A Method of Moments for Mixture Models and Hidden Markov Models

Animashree Anandkumar, Daniel Hsu+1 more|arXiv (Cornell University)|Mar 3, 2012

Bayesian Methods and Mixture Models参考文献 28被引用数 67

ひとこと要約

本稿では、高次元混合モデルおよび隠れマルコフモデルに対して、低次のモーメントのみを用いて計算効率の良いモーメント法を提案する。これにより、多項式時間・多項式サンプル複雑性のもとで一貫性のあるパラメータ推定が可能となる。本手法は、特異値分解を用いて潜在変数の複数の間接的観測を活用し、従来の手法が失敗した状況でも、証明可能な非教師あり学習の保証を達成する。

ABSTRACT

Mixture models are a fundamental tool in applied statistics and machine learning for treating data taken from multiple subpopulations. The current practice for estimating the parameters of such models relies on local search heuristics (e.g., the EM algorithm) which are prone to failure, and existing consistent methods are unfavorable due to their high computational and sample complexity which typically scale exponentially with the number of mixture components. This work develops an efficient method of moments approach to parameter estimation for a broad class of high-dimensional mixture models with many components, including multi-view mixtures of Gaussians (such as mixtures of axis-aligned Gaussians) and hidden Markov models. The new method leads to rigorous unsupervised learning results for mixture models that were not achieved by previous works; and, because of its simplicity, it offers a viable alternative to EM for practical deployment.

研究の動機と目的

• EM法や最尤推定法が高次元混合モデルにおいて直面する収束の遅さや局所最適解への陥落という限界を解消すること。
• 多数の成分を有する高次元混合モデルに対して、成分数の指数的増加を回避する一貫性があり効率的なパラメータ推定手法を開発すること。
• 尤度方程式が明示的に定義できないモデル（例：マルチビュー混合モデルやHMM）に対してもモーメント法を拡張すること。
• やや弱いランク条件のもとで、多項式的サンプル複雑性を満たす証明可能な非教師あり学習の保証を提供すること。
• 実世界の導入に適した実用的で数値的に安定したEM法の代替手法を提供すること。

提案手法

• 潜在変数の複数の間接的観測（例：HMMにおける過去・現在・未来の観測、または積分布における座標の分割）から得られる低次のモーメント（3次まで）を用いる。
• 実データからモーメントテンソルを構築し、特異値分解（SVD）を適用して、元の成分に対応する低ランク構造を抽出する。
• 適切に正規化されたモーメントテンソルの固有値分解により、混合成分のパラメータを推定し、数値的安定性と低分散を確保する。
• モーメントのマルチラインア構造を活用して反復的最適化を避けることで、局所最小値を回避する。
• 混合成分の同定可能性を保証するため、モーメントテンソルのランク条件に依存する。高次元設定でも有効である。
• 標準的な線形代数のルーチンに依存するため、スケーラブルであり、実用的導入に適している。

実験結果

リサーチクエスチョン

• RQ1 低次のモーメントを用いたモーメント法は、多数の成分を有する高次元混合モデルに対し、一貫性のあるパラメータ推定を達成できるか？
• RQ2 このような手法は、先行研究の一致する手法が示す指数的サンプル・計算複雑性を回避できるか？
• RQ3 尤度方程式が明示的に定義されないモデル（例：HMM やマルチビュー正規混合モデル）にも適用可能か？
• RQ4 やや弱いランク条件のもとで、証明可能な非教師あり学習の保証が得られるか？
• RQ5 実世界の応用において、EM法の実用的で安定した代替手段として機能できるか？

主な発見

• 提案手法は、マルチビュー正規分布やHMMを含む広範な高次元混合モデルクラスにおいて、やや弱いランク条件のもとで一貫性のあるパラメータ推定を達成する。
• 正確な推定に必要なサンプル複雑性は、成分数および関連パラメータに関して多項式的であり、先行の一貫性のある手法が示す指数的依存性を回避する。
• 計算複雑性は多項式的であり、低次のモーメントと標準的なSVD／固有値分解に依存するため、スケーラブルである。
• 従来の研究が達成できなかった状況でも、特に分離条件がない設定において、証明可能な非教師あり学習の保証を提供する。
• 実験的評価では、低次のモーメントに依存するため、低分散でありEM法と同等またはそれ以上のロバスト性を示す。
• 先行研究の反例から示されるように、2次モーメントだけでは不十分な状況でも、本手法はモデルのパラメータを正しく同定できる。