[論文レビュー] Statistical Convergence of the EM Algorithm on Gaussian Mixture Models

Ruofei Zhao, Yuanzhi Li+1 more|arXiv (Cornell University)|Oct 9, 2018

Bayesian Methods and Mixture Models参考文献 24被引用数 13

ひとこと要約

この論文は、任意の数の成分をもつガウス混合モデルに対して、EMアルゴリズムがグローバル最適解に収束する条件を確立する。成分の平均が少なくとも $Ω(\sqrt{\min\{M,d\}})$ 以上に分離されている場合、線形収束を証明し、真のパラメータの周囲の吸引域を同定する。

ABSTRACT

We study the convergence behavior of the Expectation Maximization (EM) algorithm on Gaussian mixture models with an arbitrary number of mixture components and mixing weights. We show that as long as the means of the components are separated by at least $Ω(\sqrt{\min\{M,d\}})$, where $M$ is the number of components and $d$ is the dimension, the EM algorithm converges locally to the global optimum of the log-likelihood. Further, we show that the convergence rate is linear and characterize the size of the basin of attraction to the global optimum.

研究の動機と目的

• 2つ以上の成分をもつガウス混合モデルにおけるEM収束の理論的理解のギャップを埋める。
• EMがローカル最小化子ではなくグローバル最適解に収束する条件を特定する。
• 高次元設定におけるグローバル最適解の吸引域の大きさを特徴付ける。
• 一様でない重みをもつ任意の数の成分をもつモデルに、2成分モデルに関する先行研究を一般化する。

提案手法

• 理想化された条件下での収束行動を調査するため、母集団レベルのEMアルゴリズムを分析する。
• ガウス混合モデルのEM更新規則を分析するために、マジョライゼーション・ミニマイゼーション枠組みを用いる。
• 経験的十分統計量と期待値の十分統計量の差を制御するため、濃度不等式と和集合不等式を適用する。
• パラメータ空間全体における重み関数の本質的上限偏差をバインドするために、メトリックエントロピーと被覆の議論を用いる。
• Eステップにおける推定誤差を制御するため、重み関数のサブガウスノルムのバインドを導出する。
• 確率的バインドと平均値定理の推定値を組み合わせて、EM更新の安定性を制御する。

実験結果

リサーチクエスチョン

• RQ1 2つ以上の成分をもつガウス混合モデルに対して、EMアルゴリズムがグローバル最適解に収束する条件は何か？
• RQ2 EMのグローバル収束を保証するための成分の平均間の最小分離距離は何か？
• RQ3 高次元設定において、グローバル最適解の吸引域はどの程度の大きさか？
• RQ4 真のパラメータに近い初期化のもとで、EMアルゴリズムは線形収束を示すか？
• RQ5 任意の混合重みと成分数に対して、収束挙動を特徴づけることは可能か？

主な発見

• 成分の平均が少なくとも $Ω(\sqrt{\min\{M,d\}})$ 以上に分離されている場合、EMアルゴリズムはグローバル最適解に線形収束する。
• グローバル最適解の吸引域の大きさは、成分の平均間の分離度によって特徴付けられる。
• 任意の数の成分と任意の混合重みに対して収束が成立する。
• メトリックエントロピーと濃度の議論を用いて、パラメータ近傍における経験的重みの高確率一様制御を確立する。
• 提示された分離条件のもとで、高次元設定においても収束速度は線形である。
• 2成分モデルに関する先行研究を、非一様重みをもつ一般のM成分モデルにまで拡張する。