[論文レビュー] Global Analysis of Expectation Maximization for Mixtures of Two Gaussians

Ji Xu, Daniel Hsu+1 more|arXiv (Cornell University)|Jan 1, 2016

Gaussian Processes and Bayesian Inference被引用数 54

ひとこと要約

この論文は、2つのガウス分布の混合を学習するための期待最大化（EM）アルゴリズムのグローバル収束解析を提供する。無限サンプル極限においてEMを分析することで、最終的なパラメータ推定値を初期条件の観点から特徴づけ、統計的一貫性を確立し、やや厳しい条件のもとでEMが真のパラメータにグローバルに収束できることを示している。

ABSTRACT

Expectation Maximization (EM) is among the most popular algorithms for estimating parameters of statistical models. However, EM, which is an iterative algorithm based on the maximum likelihood principle, is generally only guaranteed to find stationary points of the likelihood objective, and these points may be far from any maximizer. This article addresses this disconnect between the statistical principles behind EM and its algorithmic properties. Specifically, it provides a global analysis of EM for specific models in which the observations comprise an i.i.d. sample from a mixture of two Gaussians. This is achieved by (i) studying the sequence of parameters from idealized execution of EM in the infinite sample limit, and fully characterizing the limit points of the sequence in terms of the initial parameters; and then (ii) based on this convergence analysis, establishing statistical consistency (or lack thereof) for the actual sequence of parameters produced by EM.

研究の動機と目的

• EMの統計的原則とそのアルゴリズム的挙動のギャップ、特に悪い停留点に収束する傾向を解消すること。
• 潜在変数推定の代表的モデルである2ガウス混合分布に対して、EMの無限サンプル極限におけるグローバルな挙動を分析すること。
• 初期パラメータ値の関数として、EMのパラメータ推定系列の極限点を特徴づけること。
• EMの収束挙動を真の母集団パラメータに結びつけることで、EMの統計的一貫性を確立すること。
• 局所的収束保証しか与えないにもかかわらず、ガウス混合モデルにおいてEMの経験的成功を理論的に裏付けること。

提案手法

• 標本分布を真の分布とみなす無限サンプル極限における理想化されたEMアルゴリズムを分析する。
• 極限におけるEMの固定点方程式を導出し、パラメータ推定系列の極限への収束の仕組みを明らかにする。
• 幾何学的および解析的技法を用いて、初期パラメータ値の関数としてEMの極限点を特徴づける。
• EMが局所的最大値ではなく、尤度関数のグローバル最大値に収束するための条件を確立する。
• 無限サンプル極限を用いて統計的一貫性を導出し、EMの出力が漸近的に真のパラメータに近づくことを示す。
• 最適化および確率論の道具を用いて、この特定のモデルにおけるEMの収束の多様性を分析する。

実験結果

リサーチクエスチョン

• RQ1 2ガウス混合分布に対するEMは、どのような条件下で尤度関数のグローバル最大値に収束するか？
• RQ2 初期パラメータ値は、無限サンプル状態におけるEMの最終的推定値にどのように影響を与えるか？
• RQ3 EMは、停留点への収束しか保証しないにもかかわらず、ガウス混合モデルに対して統計的に一貫性を持つことができるか？
• RQ4 2成分ガウス混合分布において、EMの極限点と真の母集団パラメータの関係は何か？
• RQ5 EMの無限サンプル極限は一貫したパラメータ推定値をもたらすか？ もしもそうであるなら、どのような条件下か？

主な発見

• 2ガウス混合分布に対するEMは、初期値が真の値から大きく離れていても、やや厳しい条件下でグローバルに真のパラメータに収束する。
• EMの極限点は初期パラメータ値によって完全に決定され、このモデルでは悪い局所的最大値を回避できる。
• 無限サンプル極限において、初期値が十分に情報を持っている限り、EMは真の混合パラメータに対応する固定点に収束する。
• 解析により、EMがこのモデルに対して統計的に一貫していることが示された。つまり、推定されたパラメータは確率的に真のパラメータに収束する。
• 収束挙動は幾何学的に特徴づけられる：極限は初期パラメータが真のパラメータに対して相対的にどこにあるかに依存する。
• 本研究では、EMがこの設定において尤度関数をグローバルに最適化できることを確立し、局所的最適解に陥る懸念を解消した。