[論文レビュー] Global Convergence of EM Algorithm for Mixtures of Two Component Linear Regression

Jeongyeol Kwon, Wei Qian+3 more|arXiv (Cornell University)|Oct 12, 2018

Bayesian Methods and Mixture Models参考文献 19被引用数 7

ひとこと要約

本稿は、2成分の混合線形回帰におけるEMアルゴリズムの最初のグローバル収束保証を確立し、初期化がランダムでも収束することを証明している。混合線形回帰とガウス・ミックスチャネル・モデルの根本的な相違を克服するための新しい解析的手法を導入し、初期化が真のパラメータからの距離に依存する定量的な収束速度を持つことを示している。

ABSTRACT

The Expectation-Maximization algorithm is perhaps the most broadly used algorithm for inference of latent variable problems. A theoretical understanding of its performance, however, largely remains lacking. Recent results established that EM enjoys global convergence for Gaussian Mixture Models. For Mixed Linear Regression, however, only local convergence results have been established, and those only for the high SNR regime. We show here that EM converges for mixed linear regression with two components (it is known that it may fail to converge for three or more), and moreover that this convergence holds for random initialization. Our analysis reveals that EM exhibits very different behavior in Mixed Linear Regression from its behavior in Gaussian Mixture Models, and hence our proofs require the development of several new ideas.

研究の動機と目的

• 2成分混合線形回帰におけるEMアルゴリズムのグローバル収束を確立すること。これまでの結果は局所的収束または高SNR領域に限られていた。
• EMの混合線形回帰における理論的理解の不足に取り組むこと。実験的成果は顕著であるが、理論的裏付けは不十分である。
• 混合線形回帰とガウス・ミックスチャネル・モデルにおけるEM挙動の根本的相違を克服するための新しい解析的ツールを開発すること。
• 初期推定値の改善を的確に反映する、タイトな誤差バウンドを提供すること。これにより、従来の局所的収束結果を改善する。

提案手法

• ガウス共変数とノイズを仮定した2成分混合線形回帰におけるEM更新規則を、完全形と簡略化形（Easy-EM）の両方で分析する。
• 仮定されたガウス分布の尤度を活用し、重み付き最小二乗法を用いて閉形式でのEM更新を導出する。
• ℓ₂距離の収縮に依存しない、新しい証明フレームワークを導入。これは混合線形回帰では失敗するため。
• 有限標本設定における推定誤差を制限するために、サブガウスおよびサブエキスポネンシャルな集中不等式を用いる。
• 標本共分散が単位行列からどれほど逸脱するかを制御するために、ランダム行列理論を適用。これにより収束解析が可能になる。
• テイラー展開と作用素ノルムのバウンドを用いて、EM更新における逆共分散行列を扱う。

実験結果

リサーチクエスチョン

• RQ1 初期化がランダムでも、2成分混合線形回帰におけるEMアルゴリズムはグローバルに収束するのか？
• RQ2 なぜ、ガウス・ミックスチャネル・モデルとは異なり、標準的なℓ₂収縮に基づくEM収束技法は混合線形回帰では失敗するのか？
• RQ3 初期推定値から真のパラメータβ*までの距離を関数として、EMの収束速度はどのように変化するか？
• RQ4 初期解に対するEMの性能向上を的確に反映する、タイトな最終誤差バウンドを確立できるか？

主な発見

• 初期化がランダムでも、2成分混合線形回帰におけるEMはグローバルに収束する。これは従来の研究で確立されていなかった結果である。
• EMの収束速度は有界であり、現在の推定値が真のパラメータβ*からの距離に依存する。
• β*の方向における最終推定誤差は、高確率でO(√(σ² + ||β*||²)(√(log(1/δ)/n) + d log(1/δ)/n))でバウンドされる。
• 解析により、EMが混合線形回帰ではガウス・ミックスチャネル・モデルとは根本的に異なる挙動を示すことが明らかになった。これに伴い、新たな証明技法の必要性が示された。
• 初期推定値からのEMの性能向上を的確に捉える、タイトな最終誤差バウンドを提供することで、従来の局所的収束結果を改善した。
• 標準的な仮定のもとで結果が成り立つ：i.i.d. ガウス共変数、対称な潜在ラベル、既知のノイズ分散。