[論文レビュー] Alternating Minimization Converges Super-Linearly for Mixed Linear Regression

Avishek Ghosh, Kannan Ramchandran|arXiv (Cornell University)|Apr 23, 2020

Advanced Statistical Methods and Models参考文献 28被引用数 4

ひとこと要約

本稿は、2成分の混合線形回帰における交替最小化（AM）の理論的超線形収束レートを初めて確立した。適切に初期化された場合、AMはℓ₂ノルムでεの誤差を達成するまでにO(log log(1/ε))回の反復で収束することが示された。解析により、AMが勾配法よりも実験的に高速に収束する理由が、特定のパrameter領域における線形より速い収束性によって理論的に裏付けられていることが明らかになった。

ABSTRACT

We address the problem of solving mixed random linear equations. We have unlabeled observations coming from multiple linear regressions, and each observation corresponds to exactly one of the regression models. The goal is to learn the linear regressors from the observations. Classically, Alternating Minimization (AM) (which is a variant of Expectation Maximization (EM)) is used to solve this problem. AM iteratively alternates between the estimation of labels and solving the regression problems with the estimated labels. Empirically, it is observed that, for a large variety of non-convex problems including mixed linear regression, AM converges at a much faster rate compared to gradient based algorithms. However, the existing theory suggests similar rate of convergence for AM and gradient based methods, failing to capture this empirical behavior. In this paper, we close this gap between theory and practice for the special case of a mixture of $2$ linear regressions. We show that, provided initialized properly, AM enjoys a \emph{super-linear} rate of convergence in certain parameter regimes. To the best of our knowledge, this is the first work that theoretically establishes such rate for AM. Hence, if we want to recover the unknown regressors upto an error (in $\ell_2$ norm) of $ε$, AM only takes $\mathcal{O}(\log \log (1/ε))$ iterations. Furthermore, we compare AM with a gradient based heuristic algorithm empirically and show that AM dominates in iteration complexity as well as wall-clock time.

研究の動機と目的

• 実際の応用で観察される交替最小化（AM）の高速収束と、従来の理論が予測する遅い収束レートとの間の理論的ギャップを埋めること。
• 2つの線形回帰の混合という特殊ケースにおけるAMの収束挙動を分析すること。
• 適切な初期化のもとでAMが超線形収束を達成することを確立し、勾配法よりも優れた実験的性能を説明すること。
• 潜在変数を含む非凸問題、特に混合線形回帰のような状況におけるAMの観察された高速収束を理論的に正当化すること。

提案手法

• 著者らは、AMアルゴリズムの反復を経験的プロセスとしてモデル化し、ラベル推定と回帰更新ステップに注目して解析した。
• サブガウスおよびサブエキスポネンシャルな集中不等式を用いて、各成分に割り当てられるサンプル数の高確率上界を導出した。
• 予測誤差を推定誤差に変換するために、ガウス確率的行列の固有値的性質を活用した。
• 重要なステップとして、誤分類されたサンプルの集合上での二次形式∑⟨xᵢ, u⟩²の上界を、サブエキスポネンシャル尾部の不等式を用いて評価した。
• Lemma 1を用いて誤分類集合のサイズを制御し、誤差が距離の立方に比例して減少することを保証した。
• 誤差伝搬とスペクトル下界を組み合わせることで、推定誤差がO(dist³)の割合で減少することを示し、超線形収束を示した。

実験結果

リサーチクエスチョン

• RQ1 既存の理論が線形収束しか予測しないにもかかわらず、2成分の混合線形回帰問題において、交替最小化（AM）は超線形収束を示すのか？
• RQ2 非凸的設定と潜在変数を含む状況において、なぜAMは勾配法よりも著しく高速に収束するのか？
• RQ3 2成分の混合線形回帰モデルにおいて、AMの観察された急速な収束は理論的に正当化可能か？
• RQ4 適切な初期化がAMの超線形収束を可能にする役割を果たすのか？
• RQ5 実験で観察された収束指数（約1.75–1.8）は、理論的超線形レートと整合的か？

主な発見

• 適切に初期化された場合、2成分の混合線形回帰問題においてAMは超線形収束レートを達成し、ℓ₂ノルムでεの誤差に到達するまでにO(log log(1/ε))回の反復で収束する。
• 推定誤差はdist（真のパrameterとのℓ₂距離）の立方に比例して減少するO(dist³)として減少し、超線形収束が確認された。
• 理論的解析により、誤分類されたサンプルの数がサブガウスおよびサブエキスポネンシャルな集中不等式によってきびしく制御されていることが示された。
• 設計行列のスペクトルノルムにより、予測誤差が有利な下界を伴って推定誤差に変換され、誤差の立方減少が可能になった。
• 実験的結果により、AMが反復回数およびウォールクロック時間の両面で勾配法を上回ることが確認され、理論的加速が裏付けられた。
• 実験で観察された収束指数（1.75–1.8）は超線形挙動と整合的であり、理論的解析は立方減少レートを示唆している。