[論文レビュー] Statistical Convergence Analysis of Gradient EM on General Gaussian Mixture Models

Bowei Yan, Mingzhang Yin+1 more|arXiv (Cornell University)|Jan 1, 2017

Bayesian Methods and Mixture Models被引用数 1

ひとこと要約

本稿は、任意の成分数、非等しい混合係数、任意の次元性をもつ一般化されたガウス・ミックスチャネル・モデル（GMM）における勾配EMアルゴリズムの収束を分析する。学習理論および経験過程の道具を用いて、混合係数、ペアワイズ中心間距離、モデルの次元性に依存する収束速度を導出し、一般ケースにおいて初めて近似的に最適な局所的収縮半径を確立する。

ABSTRACT

In this paper, we study convergence properties of the gradient Expectation-Maximization algorithm~\cite{lange1995gradient} for Gaussian Mixture Models for general number of clusters and mixing coefficients. We derive the convergence rate depending on the mixing coefficients, minimum and maximum pairwise distances between the true centers and dimensionality and number of components; and obtain a near-optimal local contraction radius. While there have been some recent notable works that derive local convergence rates for EM in the two equal mixture symmetric GMM, in the more general case, the derivations need structurally different and non-trivial arguments. We use recent tools from learning theory and empirical processes to achieve our theoretical results.

研究の動機と目的

• 対称的で二成分のケースに限らない一般化GMMにおける勾配EMアルゴリズムの収束特性を確立すること。
• 混合係数、成分中心間のペアワイズ距離、次元性、成分数に依存する収束速度を定量化すること。
• 一般化GMM設定における勾配EMの近似的に最適な局所的収縮半径を導出すること。
• 従来、対称的で二成分のGMMに限定されていた局所的収束結果を、より広範な非対称的・多成分ケースへ拡張すること。
• 一般化GMMの構造的複雑性に対処するため、学習理論および経験過程からの高度な道具を用いること。

提案手法

• 学習理論および経験過程からの最近の理論的道具を用いて、勾配EMアルゴリズムを分析する。
• 混合係数、真の中心間の最小および最大ペアワイズ距離、次元性に依存する収束速度の上限を導出する。
• 真のパラメータに近い領域でのアルゴリズムの挙動を検討することで、局所的収縮半径を確立する。
• 非漸近的解析手法を用いて、高次元および非i.i.d.な設定における収束速度を特徴付ける。
• 非対称性および一般化された成分数を扱うための新しい構造的解析を導入し、従来の対称的二成分の導出とは異なるものとする。
• 集中不等式と経験過程のバインディングを組み合わせて、勾配更新ステップにおける推定誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 任意の成分数および非等しい混合係数をもつ一般化GMMにおける勾配EMアルゴリズムの収束速度は何か？
• RQ2 成分の平均の幾何的配置、特に最小および最大ペアワイズ距離に依存する収束速度はどのように変化するか？
• RQ3 一般化GMM設定における勾配EMの最適な局所的収縮半径は何か？
• RQ4 現代の学習理論の道具を用いて、勾配EMの理論的解析を対称的二成分ケースを超えて拡張可能か？
• RQ5 次元性と成分数が、GMMにおける勾配EMの収束行動にどのように共同で影響を与えるか？

主な発見

• 勾配EMアルゴリズムの収束速度は混合係数に明示的に依存しており、混合重みが小さかったり、不均一な場合には収束が遅くなることが観察された。
• 成分中心間の最小ペアワイズ距離が小さくなるほど収束速度が劣化し、近接して配置された成分の分離が困難であることを示唆している。
• 次元性が高くなるほど収束速度が向上し、特定の条件下では高次元設定が収束を促進することが示唆された。
• 近似的に最適な局所的収縮半径が導出され、アルゴリズムが真のパラメータの十分に小さな近傍に到達すると、急速に収束することが示された。
• 理論的枠組みは、従来の対称的二成分GMMからの結果を、より広範な非対称的・多成分ケースへ成功裏に一般化した。
• 解析により、一般化GMMの構造的複雑性は、対称的設定で用いられるものとは非自明に異なる議論を必要とすることが明らかになった。