[論文レビュー] Regularized EM Algorithms: A Unified Framework and Statistical Guarantees

Xinyang Yi, Constantine Caramanis|arXiv (Cornell University)|Nov 27, 2015

Sparse and Compressive Sensing Techniques参考文献 20被引用数 32

ひとこと要約

本稿は、高次元の潜在変数モデルにおける統一的な正則化EMフレームワークを導入し、Mステップにおける適応的正則化が最適化誤差と統計的誤差のバランスをとる。スパースなガウス・ミックスチャネル、高次元混合回帰、欠損データ回帰において、正則化列および推定誤差に関する最小限の仮定のもとで線形局所収束性と統計的保証を確立する。

ABSTRACT

Latent variable models are a fundamental modeling tool in machine learning applications, but they present significant computational and analytical challenges. The popular EM algorithm and its variants, is a much used algorithmic tool; yet our rigorous understanding of its performance is highly incomplete. Recently, work in Balakrishnan et al. (2014) has demonstrated that for an important class of problems, EM exhibits linear local convergence. In the high-dimensional setting, however, the M-step may not be well defined. We address precisely this setting through a unified treatment using regularization. While regularization for high-dimensional problems is by now well understood, the iterative EM algorithm requires a careful balancing of making progress towards the solution while identifying the right structure (e.g., sparsity or low-rank). In particular, regularizing the M-step using the state-of-the-art high-dimensional prescriptions (e.g., Wainwright (2014)) is not guaranteed to provide this balance. Our algorithm and analysis are linked in a way that reveals the balance between optimization and statistical errors. We specialize our general framework to sparse gaussian mixture models, high-dimensional mixed regression, and regression with missing variables, obtaining statistical guarantees for each of these examples.

研究の動機と目的

• 高次元設定におけるEMの厳密な統計的保証の欠如に取り組み、過パrameter化によりMステップが不適切になる状況を扱う。
• 反復的EM更新において最適化誤差（例：スパarsity）と統計的誤差のバランスを取る正則化列の選択という課題を克服する。
• 最適化の進行と推定誤差の制御を結びつける一般化された収束フレームワークを提供し、多様な高次元モデルに適用可能である。
• 母集団Mステップが定義されない場合でさえも、非漸近的統計的誤差バウンドを伴う局所線形収束を確立する。
• 具体的なモデル—スパースなガウス・ミックスチャネル、高次元混合回帰、共変数欠損付き回帰—にこのフレームワークを特化させ、モデル固有の保証を提供する。

提案手法

• Mステップを、反復ごとに変化するデータ依存的で適応的な正則化列を用いて変更した正則化EMアルゴリズムを提案する。
• 新たな正則化列 $\lambda_m^{(t)} = \frac{1 - \kappa^t}{1 - \kappa} \Delta + \kappa^t \frac{\gamma_m}{5\Psi(\overline{\mathcal{S}})} \|\bm{\beta}^{(0)} - \bm{\beta}^*\|$ を導入し、推定誤差と最適化誤差のバランスを保つことで収束を保証する。
• 双対ノルム $\mathcal{R}(\cdot)$ と適合性条件 $\gamma_m$ を含む局所誤差の特徴付けを用い、真のパラメータからの距離を制御する。
• 帰納法を用いて収束を確立し、$\|\bm{\beta}^{(t)} - \bm{\beta}^*\| \leq r$ ならば $\|\bm{\beta}^{(t+1)} - \bm{\beta}^*\| \leq r$ が成り立つことを示し、反復が局所的近傍内に留まることを保証する。
• 推定誤差と正則化パラメータ、真のパラメータ構造を結びつける重要な不等式 $\|\Theta\| \leq 5\Psi(\overline{\mathcal{S}}) \frac{\lambda_m^{(t)}}{\gamma_m}$ を導出する。
• サブガウス設計仮定および有界ノイズのもとで、高確率収束を保証するための確率的ユニオンバウンドを適用する。

実験結果

リサーチクエスチョン

• RQ1 Mステップが不適切になる状況において、高次元設定でのEMアルゴリズムをどのように正則化すれば収束を保証できるか。
• RQ2 反復的EM更新の各ステップで統計的誤差と最適化誤差のバランスを取るために、適切な正則化パラメータの列は何か。
• RQ3 多様な高次元モデルに適用可能な統一的フレームワークを構築できるか。
• RQ4 非漸近的誤差バウンドを伴う局所線形収束を保証する条件は何か。
• RQ5 適応的正則化列は、最終的な推定誤差および真のパラメータ構造とどのように関係するか。

主な発見

• 提案された正則化EMアルゴリズムは、母集団Mステップが定義されない場合でさえも、やや厳しい正則性条件のもとで高確率で線形局所収束を達成する。
• 推定誤差は $\|\bm{\beta}^{(t)} - \bm{\beta}^*\| \leq \frac{5\Psi(\overline{\mathcal{S}})}{\gamma_m} \frac{1 - \kappa^t}{1 - \kappa} \Delta + \kappa^t \|\bm{\beta}^{(0)} - \bm{\beta}^*\|$ でバウンドされ、$\kappa < 3/4$ のとき誤差が指数関数的に減少することが保証される。
• 正則化列 $\lambda_m^{(t)}$ は、最終的な推定誤差に比例する値に収束するように明示的に構築されており、安定的かつ一貫した更新を可能にする。
• スパースなガウス・ミックスチャネルモデルでは、スパarsityのもとで既知のミニマックスレートに一致する非漸近的統計的誤差バウンドが得られる。
• 高次元混合回帰および欠損共変数付き回帰では、正則化列が $\lambda_m^{(t)} \geq 3\Delta_m + \frac{\alpha\mu\tau}{\gamma\Psi(\overline{\mathcal{S}})} \|\bm{\beta}^{(t-1)} - \bm{\beta}^*\|$ を満たす限り、一貫したパラメータ推定と最適な標本サイズが必要条件を満たす。
• 解析により、最適化誤差（$\lambda_m$ で制御）と統計的誤差（$\Delta_m$ で制御）の根本的トレードオフが明らかになり、正則化強度の反復的適応によって解決されることを示した。