[論文レビュー] EM Converges for a Mixture of Many Linear Regressions

Jeongyeol Kwon, Constantine Caramanis|arXiv (Cornell University)|May 28, 2019

Statistical Methods and Inference参考文献 20被引用数 10

ひとこと要約

本稿は、有限の信号対雑音比（SNR）のもとで、$k \geq 3$ 個の成分をもつ線形回帰混合モデルにおけるEMアルゴリズムの、初めてのグローバル収束保証を確立する。well-initializedなEMがSNRが$\tilde{\Omega}(k)$のとき真のパラメータに収束することを示し、ノイズが消失する極限で正確な復元が達成され、パラメータノルムに依存しない統計的誤差を達成する。

ABSTRACT

We study the convergence of the Expectation-Maximization (EM) algorithm for mixtures of linear regressions with an arbitrary number $k$ of components. We show that as long as signal-to-noise ratio (SNR) is $ ildeΩ(k)$, well-initialized EM converges to the true regression parameters. Previous results for $k \geq 3$ have only established local convergence for the noiseless setting, i.e., where SNR is infinitely large. Our results enlarge the scope to the environment with noises, and notably, we establish a statistical error rate that is independent of the norm (or pairwise distance) of the regression parameters. In particular, our results imply exact recovery as $σ ightarrow 0$, in contrast to most previous local convergence results for EM, where the statistical error scaled with the norm of parameters. Standard moment-method approaches may be applied to guarantee we are in the region where our local convergence guarantees apply.

研究の動機と目的

• 有限のノイズ下での多成分線形回帰混合モデルにおけるEMの理論的収束保証の欠如に取り組む。
• 従来の局所的収束結果（主にノイズなし設定または$k=2$に限られていた）を、有限SNR下での$k \geq 3$ 成分へ拡張する。
• 回帰パラメータのノルムやペアワイズ距離に依存しない統計的誤差率を確立し、$\sigma \to 0$ のとき正確な復元を可能にする。
• モーメントベース初期化がEMの局所収束領域に到達させることを保証する枠組みを提供する。実用的初期化と理論的保証を橋渡しする。

提案手法

• i.i.d. ガウス共変数とサブガウスノイズをもつ$k$ 成分の線形回帰混合モデルにおける、母集団EMアルゴリズムを分析する。
• パラメータのずれ$\Delta_l$、ノイズ$e$、成分固有の重み$w_l^u$ を含む項にEM更新を新しい形で分解する。
• $X$ の2次形式の尾部挙動を制御するため、$\mathcal{E}_{1,l}$ と $\mathcal{E}_{2,l}$ を用いたイベントベース解析を導入する。
• モーメント不等式と尾確率推定を用いて、EM更新の期待二乗誤差を評価し、サブガウスおよびサブ指数的尾部バウンドを活用する。
• 誤差項をバランスさせるために$\tau_l = \Theta(\sqrt{\log(R_{jl}^* \rho_\pi)})$ および $\tau_l = O(\sqrt{\log k})$ を設定し、$O(\|\Delta_l\|^2)$ または $O(\|\Delta_l\|^2 \log k)$ のバウンドを達成する。
• well-initialized 条件の下でパrameter空間における収縮を確立し、$\|\beta_j^*\|$ に依存しない誤差スケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 有限SNR下で$k \geq 3$ 成分の線形回帰混合モデルにおいて、EMがグローバルに真のパラメータに収束可能か？
• RQ2 EMの統計的誤差は回帰パラメータのノルムに比例するのか、それともそのノルムに依存しないようにできるか？
• RQ3 モーメントベース初期化技術は、ノイズありの多成分設定におけるEM収束の吸引領域に、厳密に結びつけられるか？
• RQ4 well-initialized 条件のもとでEM収束を保証するSNRの閾値は何か？ その閾値は$k$ に対してどのようにスケーリングされるか？
• RQ5 有限標本におけるEMアルゴリズムの誤差率は、母集団レベルの収束と比較してどうか？ また、ノイズのない極限で正確な復元が達成されるか？

主な発見

• SNRが$\tilde{\Omega}(k)$であり、初期化が真のパラメータから$\tilde{O}(1/k)$ の範囲内にあるとき、EMは高確率で真の回帰パラメータに収束する。
• 有限標本におけるEMアルゴリズムの統計的誤差は$\tilde{O}(\sigma \sqrt{k^2 d / n})$ であり、回帰パラメータのノルムに依存しない。
• ノイズが$\sigma \to 0$ に近づく極限で正確な復元が達成され、従来の結果とは異なり、パラメータノルムに比例する誤差が生じない。
• well-initialized 条件の下で、パrameter空間における収縮性質が確立され、誤差バウンドが$\|\beta_j^*\|$ から分離されている。
• 収束保証は母集団EMおよび有限標本EMの両方に対して成り立ち、$k=2$ の場合の先行結果を一般化し、ノイズあり・高次元設定へ拡張する。
• モーメントベース初期化技術がEMを吸引領域内に配置できることを示し、実用的導入に理論的保証を提供する。