[論文レビュー] On the Minimax Optimality of the EM Algorithm for Learning Two-Component Mixed Linear Regression

Jeongyeol Kwon, Nhat Ho+1 more|arXiv (Cornell University)|Jun 3, 2020

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿は、すべての信号対雑音比（SNR）領域において、2成分混合線形回帰におけるEMアルゴリズムのミニマックス最適性を確立している。弱い分離状態におけるEMの理論的挙動に関する長年の理解のギャップを解消するものであり、ややきつい初期化条件のもとで、高SNRでは$\mathcal{O}((d/n)^{1/2})$、低SNRでは$\mathcal{O}((d/n)^{1/4})$の最適統計的収束速度をEMが達成することを証明している。

ABSTRACT

We study the convergence rates of the EM algorithm for learning two-component mixed linear regression under all regimes of signal-to-noise ratio (SNR). We resolve a long-standing question that many recent results have attempted to tackle: we completely characterize the convergence behavior of EM, and show that the EM algorithm achieves minimax optimal sample complexity under all SNR regimes. In particular, when the SNR is sufficiently large, the EM updates converge to the true parameter $\ heta^{*}$ at the standard parametric convergence rate $\\mathcal{O}((d/n)^{1/2})$ after $\\mathcal{O}(\\log(n/d))$ iterations. In the regime where the SNR is above $\\mathcal{O}((d/n)^{1/4})$ and below some constant, the EM iterates converge to a $\\mathcal{O}({\ m SNR}^{-1} (d/n)^{1/2})$ neighborhood of the true parameter, when the number of iterations is of the order $\\mathcal{O}({\ m SNR}^{-2} \\log(n/d))$. In the low SNR regime where the SNR is below $\\mathcal{O}((d/n)^{1/4})$, we show that EM converges to a $\\mathcal{O}((d/n)^{1/4})$ neighborhood of the true parameters, after $\\mathcal{O}((n/d)^{1/2})$ iterations. Notably, these results are achieved under mild conditions of either random initialization or an efficiently computable local initialization. By providing tight convergence guarantees of the EM algorithm in middle-to-low SNR regimes, we fill the remaining gap in the literature, and significantly, reveal that in low SNR, EM changes rate, matching the $n^{-1/4}$ rate of the MLE, a behavior that previous work had been unable to show.

研究の動機と目的

• 混合線形回帰におけるEMの収束挙動が低SNRから中SNR領域にわたり、長年の未解決の問題である。
• 2成分混合線形回帰におけるEMのミニマックス最適な標本複雑度を確立すること。
• 低SNR、中SNR、高SNRを含むすべてのSNR領域におけるEM収束の完全な特徴付けを提供すること。
• 標本分割を用いず、ランダムまたは計算可能な局所初期化からでもグローバル収束を示すこと。
• 低SNR領域においてEMの収束速度が$n^{-1/2}$から$n^{-1/4}$に変化することを示し、MLEのレートと一致すること。

提案手法

• 大標本の極限において収束ダイナミクスを分析するため、母集団レベルのEM作用素を用いる。
• 異なるSNR領域におけるEM更新作用素の固有値特性を分析することで収束バウンドを導出する。
• 2次形式および経験過程の集中不等式を用いて有限標本の乖離を制御する。
• EM更新を信号成分とノイズ成分に明確に分解することで収縮率のバウンドを確立する。
• 経験的EM作用素とその母集団版との間の一様な乖離バウンドを確立する。
• 初期化にややきつい条件（ランダム初期化や局所初期化を含む）を仮定したもとで理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 2成分混合線形回帰において、EMアルゴリズムはすべてのSNR領域でミニマックス最適な標本複雑度を達成するか？
• RQ2 特にSNRが$\mathcal{O}((d/n)^{1/4})$未満の低SNR領域において、EMの正確な収束速度は何か？
• RQ3 収束に必要な反復回数はSNRにどのように依存するか、特に$\mathcal{O}((d/n)^{1/4})$付近の遷移領域においては？
• RQ4 標本分割や強い分離仮定なしに、ランダム初期化からEMがグローバル収束を達成できるか？
• RQ5 低SNR領域におけるEMの収束速度は、この問題の既知のミニマックス下界と整合的か？

主な発見

• 高SNRから中SNR領域（$\|\theta^*\| \gtrsim (d/n)^{1/4}$）では、EMは$\mathcal{O}(\max\{1,\|\theta^*\|^{-1}\}(d/n)^{1/2})$の近さの領域に、$\mathcal{O}(\max\{1,\|\theta^*\|^{-2}\}\log(n/d))$回の反復で真のパラメータ$\theta^*$に収束する。
• 低SNR領域（$\|\theta^*\| \lesssim (d/n)^{1/4}$）では、EMは$\mathcal{O}((d/n)^{1/4})$の近さの領域に、$\mathcal{O}((n/d)^{1/2})$回の反復で収束する。
• 低SNR領域における収束速度はMLEの$n^{-1/4}$レートと一致しており、EMがこの領域でミニマックス最適な速度を達成していることを確認している。
• SNRが低下するにつれて$\|\theta^*\|^{-2}$の2乗に比例して反復回数が増加し、$\|\theta^*\| = (d/n)^{1/4}$で$\|\theta^*\|^{-2}\log(n/d)$から$\sqrt{n/d}$への滑らかな遷移が生じる。
• 標本分割や強い初期化条件を必要とせず、高確率でランダム初期化からのグローバル収束が確立されている。
• 推定誤差の上界が、すべてのSNR領域においてこの問題の既知のミニマックス下界と一致しており、解析のタイトネスが確認されている。