[論文レビュー] Local Maxima in the Likelihood of Gaussian Mixture Models: Structural Results and Algorithmic Consequences

Chi Jin, Yuchen Zhang+3 more|arXiv (Cornell University)|Sep 4, 2016

Bayesian Methods and Mixture Models参考文献 25被引用数 75

ひとこと要約

本稿では、3個以上の成分を有するガウス混合モデル（GMM）が、等しい重み、球面的、かつ十分に分離された成分という理想的な条件下ですら、母集団尤度関数に悪い局所最大値を有することを確立している。さらに、初期化がランダムな1次EMアルゴリズムが、これらの悪い局所最大値に収束する確率が非常に高いことが示されており、好都合な設定下でも実務において慎重な初期化が不可欠であることを強調している。

ABSTRACT

We provide two fundamental results on the population (infinite-sample) likelihood function of Gaussian mixture models with $M \\geq 3$ components. Our first main result shows that the population likelihood function has bad local maxima even in the special case of equally-weighted mixtures of well-separated and spherical Gaussians. We prove that the log-likelihood value of these bad local maxima can be arbitrarily worse than that of any global optimum, thereby resolving an open question of Srebro (2007). Our second main result shows that the EM algorithm (or a first-order variant of it) with random initialization will converge to bad critical points with probability at least $1-e^{-\\Omega(M)}$. We further establish that a first-order variant of EM will not converge to strict saddle points almost surely, indicating that the poor performance of the first-order method can be attributed to the existence of bad local maxima rather than bad saddle points. Overall, our results highlight the necessity of careful initialization when using the EM algorithm in practice, even when applied in highly favorable settings.

研究の動機と目的

• M ≥ 3の成分を有するガウス混合モデルの母集団尤度関数に、悪い局所最大値が存在するかどうかという未解決の問題を解明すること。
• このような局所最大値が存在する状況下でのEMアルゴリズムおよびその1次バージョンの収束挙動を分析すること。
• EMの悪い性能が、尤度関数のランドスケープにおける悪い局所最大値か、悪い鞍点に起因するのかを特定すること。
• 好都合なモデル仮定下でも、EMに基づくGMM推定において慎重な初期化がなぜ必要かという理論的根拠を提供すること。

提案手法

• 著者らは、無限サンプル極限下における、均等重みで等方的（isotropic）なGMM（M ≥ 3成分）の母集団尤度関数を分析している。
• 明示的な例を構築し、等しい重み、良好に分離された球面的ガウス分布を用いて、悪い局所最大値の存在を示している。
• 尤度差の解析的バインドを用いて、これらの悪い局所最大値における対数尤度が、グローバル最適解よりも任意に悪くなる可能性があることを証明している。
• 1次EM更新を g(μ) = μ + s∇ℒ(μ) としてモデル化し、安定多様体定理を用いて、厳密な鞍点への収束確率がゼロであることを示している。
• 尤度関数のヘッセ行列が、EMマップのヤコビ行列が厳密に正定値であることを保証する性質を持つことを確立している。
• 不等式 |ab| ≤ ½(a² + b²) を適用し、∑wᵢ(X) = 1 の制約を用いることで、2次形式 vᵀQv ≥ 0 を示し、対数尤度のヘッセ行列が半正定値であることを証明している。

実験結果

リサーチクエスチョン

• RQ1 M ≥ 3の成分を有するGMMの母集団尤度関数に、等しい重みおよび良好に分離された球面的成分という理想的な条件下でも、悪い局所最大値が存在するか？
• RQ2 悪い局所最大値における対数尤度値が、グローバル最適解よりも任意に悪くなる可能性はあるか？
• RQ3 ランダム初期化のもとで、1次EMアルゴリズムが悪い局所最大値に収束する確率はどれほど高いか？
• RQ4 1次EM法の悪い性能は、尤度関数のランドスケープにおける悪い局所最大値か、悪い鞍点に起因するのか？
• RQ5 ランダム初期化のもとで、EMアルゴリズムが厳密な鞍点をほとんど確実に避けることができるか？

主な発見

• M ≥ 3の成分を有するGMMの母集団尤度関数には、等しい重み、球面的、良好に分離された成分という条件下でも、悪い局所最大値が存在する。
• これらの悪い局所最大値における対数尤度は、グローバル最適解よりも任意に悪くなる可能性があり、Srebro (2011) が提起した未解決問題を解決している。
• ランダム初期化のもとで1次EMアルゴリズムは、確率 1 − e^−Ω(M) 以上で悪い臨界点に収束するため、M が大きい場合には高い失敗確率を示している。
• 1次EMアルゴリズムは、ほとんど確実に厳密な鞍点に収束しない。初期点のうち、それらに収束する集合のLebesgue測度はゼロである。
• 対数尤度関数のヘッセ行列は半正定値であり、EM更新マップが局所微分同相写像であることを保証しており、力学系のツールの適用が可能になる。
• これらの結果から、GMMにおけるEM収束の主な障壁は鞍点ではなく、悪い局所最大値の存在であることが示され、実務において慎重な初期化が不可欠であると結論づけられる。