[論文レビュー] Convergence Analysis of Gradient EM for Multi-component Gaussian Mixture

Bowei Yan, Mingzhang Yin+1 more|arXiv (Cornell University)|May 23, 2017

Bayesian Methods and Mixture Models参考文献 24被引用数 3

ひとこと要約

本稿は、任意の個数の成分と既知の混合係数をもつ多成分ガウス・ミックスチャネル・モデル（GMM）における勾配EMアルゴリズムの収束解析を提供する。学習理論および経験過程の道具を用いて、初期化が良好な条件下で非漸近的保証を確立し、混合係数、ペアワイズ中心間距離、次元数に依存する近似的に最適な局所的収縮半径および収束速度を導出する。

ABSTRACT

In this paper, we study convergence properties of the gradient Expectation-Maximization algorithm \cite{lange1995gradient} for Gaussian Mixture Models for general number of clusters and mixing coefficients. We derive the convergence rate depending on the mixing coefficients, minimum and maximum pairwise distances between the true centers and dimensionality and number of components; and obtain a near-optimal local contraction radius. While there have been some recent notable works that derive local convergence rates for EM in the two equal mixture symmetric GMM, in the more general case, the derivations need structurally different and non-trivial arguments. We use recent tools from learning theory and empirical processes to achieve our theoretical results.

研究の動機と目的

• 2成分対称ケースを超えた一般の多成分ガウス・ミックスチャネル・モデルにおける勾配EMの収束挙動を理解すること。
• 混合係数、中心間隔、次元数などのモデルパラメータに依存する非漸近的収束速度および局所的収縮半径を導出すること。
• 2成分等価ケースを超えた一般のGMM設定において、勾配EMの近似的に最適な収縮領域を確立すること。
• サンプルベースの一様集中不等式を用いて、勾配EMおよびその確率的変種へまで拡張可能な理論的保証を提供すること。

提案手法

• 経験過程理論および集中不等式を用いて、母集団勾配作用素と経験勾配作用素の間の一様偏差を評価する。
• パラメータ領域上の勾配差の本質的上限を制御するため、$ e^{2d} $-ネットを用いた被覆論法を採用する。
• 真の勾配と経験勾配の差に対して、$ \epsilon^{\text{unif}}(n) \propto M^{3/2}(1+3R_{\max})^3 \max\{1,\log \kappa\} \sqrt{\frac{d \log n}{n}} $ という一様偏差の上限を導入する。
• 勾配成分の有界性（$ R_{\max} $ を通じて）を根拠に、勾配差のサブガウス集中を活用する。
• 収縮領域は $ \mathbb{A} = \prod_{i=1}^M \mathbb{B}(\bm{\mu}_i^*, a) $ と定義され、初期値が良好な初期化のもとでこの集合内での収束が保証される。
• 組合せ的議論と尾部不等式を用いて、確率的初期化境界を導出し、$ \mathcal{O}\left( \frac{\log(1/\delta)}{\sqrt{2\pi M}} \left( \frac{e}{1 - e^{-a\sqrt{d}/2}} \right)^M \right) $ 個の初期化が、高確率で良好な初期状態を達成するのに十分であることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の混合係数と成分中心を持つ一般の多成分GMMにおける勾配EMの収束速度は何か？
• RQ2 勾配EMの局所的収縮半径は、成分数、次元数、中心間最小距離にどのように依存するか？
• RQ3 2成分等価ケースを超えて、一般のGMM設定において勾配EMの近似的に最適な収縮半径を確立できるか？
• RQ4 高次元GMMにおいて、高確率で良好な初期状態を達成するために必要な初期化回数はどの程度か？
• RQ5 サンプルベースの一様集中不等式は、勾配EMおよびその確率的変種に対して非漸近的収束保証をどのように可能にするか？

主な発見

• 勾配EMの収束速度は、混合係数、真の中心間の最小・最大ペアワイズ距離、次元数および成分数に依存することが示された。
• 従来の2成分等価GMMにおける不適切な半径よりも改善された、近似的に最適な局所的収縮半径が導出された。
• 高確率で、母集団勾配と経験勾配の間の一様偏差は $ \epsilon^{\text{unif}}(n) = cM^{3/2}(1+3R_{\max})^3\max\{1,\log(\kappa)\}\sqrt{\frac{d\log n}{n}} $ で抑えられる。
• 高確率で、初期推定値が真のパラメータの近傍にある限り、勾配EMアルゴリズムは収縮領域 $ \mathbb{A} $ 内で線形収束する。
• 良好な初期状態を達成するための初期化回数は、$ \mathcal{O}\left( \frac{\log(1/\delta)}{\sqrt{2\pi M}} \left( \frac{e}{1 - e^{-a\sqrt{d}/2}} \right)^M \right) $ で抑えられ、高確率での良好な初期化を保証する。
• 理論的枠組みは直ちに確率的勾配EMへと拡張可能であり、同一条件下で非漸近的収束保証が得られる。