[論文レビュー] Statistical guarantees for the EM algorithm: From population to sample-based analysis

Sivaraman Balakrishnan, Martin J. Wainwright+1 more|arXiv (Cornell University)|Aug 9, 2014

Bayesian Methods and Mixture Models参考文献 20被引用数 35

ひとこと要約

本稿は、EMおよび勾配EMアルゴリズムの非漸近的統計的保証を、無限データ（母集団レベル）および有限標本（有限標本レベル）の両方の観点から分析することによって確立している。適切な初期化のもとで、両アルゴリズムは、やや少ないステップ数で、高い確率でMLEの近傍に収束することが示され、やや弱い正則性条件のもとで、混合モデルや欠損データを伴う回帰におけるそれらの実験的成功の理論的裏付けを提供する。

ABSTRACT

We develop a general framework for proving rigorous guarantees on the performance of the EM algorithm and a variant known as gradient EM. Our analysis is divided into two parts: a treatment of these algorithms at the population level (in the limit of infinite data), followed by results that apply to updates based on a finite set of samples. First, we characterize the domain of attraction of any global maximizer of the population likelihood. This characterization is based on a novel view of the EM updates as a perturbed form of likelihood ascent, or in parallel, of the gradient EM updates as a perturbed form of standard gradient ascent. Leveraging this characterization, we then provide non-asymptotic guarantees on the EM and gradient EM algorithms when applied to a finite set of samples. We develop consequences of our general theory for three canonical examples of incomplete-data problems: mixture of Gaussians, mixture of regressions, and linear regression with covariates missing completely at random. In each case, our theory guarantees that with a suitable initialization, a relatively small number of EM (or gradient EM) steps will yield (with high probability) an estimate that is within statistical error of the MLE. We provide simulations to confirm this theoretically predicted behavior.

研究の動機と目的

• EMアルゴリズムの応用における統計的保証と計算的保証のギャップを埋めるために、厳密な有限標本性能バインディングを提供すること。
• EMおよび勾配EMアルゴリズムを、母集団レベル（無限データ）および有限標本レベル（限られたデータ）の両方で分析すること。
• 適切な初期化のもとで、母集団尤度のグローバル最大値の吸引域を特定すること。
• 標本ベースのEMおよび勾配EMに対する非漸近的収束を、MLEの統計的誤差近傍に確立すること。
• 3つの代表的な不完全データモデル—ガウス混合モデル、回帰混合モデル、欠損共変量を伴う線形回帰—における理論を検証すること。

提案手法

• EMおよび勾配EMをそれぞれ尤度上昇および勾配上昇の摂動形とみなして、収束行動を分析すること。
• 正則性条件のもとで、MLEの周囲でEMおよび勾配EMが収縮的挙動を示す母集団レベルの分析を導入すること。
• 確率的逸脱バインディングを用いて、母集団反復と有限標本の標本ベース反復を結びつけ、MLEのε-ボールへの収束を保証すること。
• 高次元設定における一様逸脱を制御するために、球面の1/2-カバーイングを用いた離散化議論を適用すること。
• サブガウスおよびサブエクスポネンシャル尾部バインディングを活用して、有限標本状態における推定誤差の高確率バインディングを導出すること。
• 一般理論を3つのモデル—ガウス混合、回帰混合、欠損共変量を伴う線形回帰—に適用して、明確な系を導出すること。

実験結果

リサーチクエスチョン

• RQ1 適切な初期化のもとで、有限標本においてEMアルゴリズムがMLEの近傍に収束する条件は何か？
• RQ2 収束保証および標本効率の観点から、勾配EMバージョンは標準EMと比べてどのように異なるか？
• RQ3 標本ベースEMアルゴリズムの固定点と母集団尤度のグローバル最大値との関係は何か？
• RQ4 母集団レベルでの収束特性を、高い確率で有限標本設定に拡張する方法は何か？
• RQ5 不完全データモデルにおける統計的精度を達成するための、EMおよび勾配EMの非漸近的標本複雑度要件は何か？

主な発見

• ガウス混合モデルでは、適切な初期化のもとでEMアルゴリズムは、高確率でO(log(1/ε))ステップ以内にMLEのε-ボールに収束する。
• 回帰混合モデルでは、標本ベースのEMおよび勾配EMアルゴリズムは、高確率で推定誤差がO(√(d log(1/δ)/n))で抑えられる。ここでdは次元、nは標本サイズである。
• 欠損共変量を伴う線形回帰では、理論的に勾配EMが高確率でMLEの近傍に収束することが保証され、サブガウスノイズのもとで誤差はO(√(d/n))にスケーリングされる。
• 母集団レベルの分析により、尤度が十分に正則で、初期化が十分に近い限り、EMおよび勾配EMがMLEの周囲で収縮的であることが示された。
• 母集団と標本の作用素間の逸脱に関する確率的バインディングを用いて、有限標本収束が確立され、標本反復が高確率で母集団MLEのε-ボール内に留まることを保証した。
• 理論的誤差バインディングはシミュレーションによって確認され、予測された収束行動と実際の観測行動との間に一致が確認された。