[论文解读] Alternating Minimization Converges Super-Linearly for Mixed Linear Regression

Avishek Ghosh, Kannan Ramchandran|arXiv (Cornell University)|Apr 23, 2020

Advanced Statistical Methods and Models参考文献 28被引用 4

一句话总结

该论文首次为具有两个分量的混合线性回归问题中的交替最小化（AM）建立了理论上的超线性收敛速率，表明在正确初始化下，AM 可在 O(log log(1/ε)) 次迭代内实现 ℓ₂ 范数下 ε 的误差。分析表明，AM 相较于梯度方法的实证加速效果在理论上得到了解释，其在特定参数区间内表现出超线性收敛。

ABSTRACT

We address the problem of solving mixed random linear equations. We have unlabeled observations coming from multiple linear regressions, and each observation corresponds to exactly one of the regression models. The goal is to learn the linear regressors from the observations. Classically, Alternating Minimization (AM) (which is a variant of Expectation Maximization (EM)) is used to solve this problem. AM iteratively alternates between the estimation of labels and solving the regression problems with the estimated labels. Empirically, it is observed that, for a large variety of non-convex problems including mixed linear regression, AM converges at a much faster rate compared to gradient based algorithms. However, the existing theory suggests similar rate of convergence for AM and gradient based methods, failing to capture this empirical behavior. In this paper, we close this gap between theory and practice for the special case of a mixture of $2$ linear regressions. We show that, provided initialized properly, AM enjoys a \emph{super-linear} rate of convergence in certain parameter regimes. To the best of our knowledge, this is the first work that theoretically establishes such rate for AM. Hence, if we want to recover the unknown regressors upto an error (in $\ell_2$ norm) of $ε$, AM only takes $\mathcal{O}(\log \log (1/ε))$ iterations. Furthermore, we compare AM with a gradient based heuristic algorithm empirically and show that AM dominates in iteration complexity as well as wall-clock time.

研究动机与目标

• 弥合实际中观察到的交替最小化（AM）快速收敛与现有理论预测的缓慢收敛速率之间的理论差距。
• 分析 AM 在两组线性回归混合这一特殊情况下的收敛行为。
• 证明在正确初始化下，AM 实现了超线性收敛，从而解释其相对于基于梯度方法的实证优越性。
• 为在具有潜变量的非凸问题（如混合线性回归）中 AM 观测到的快速收敛提供理论依据。

提出的方法

• 作者通过建模其迭代过程中的经验过程来分析 AM 算法，重点关注标签估计和回归更新步骤。
• 利用次高斯和次指数集中不等式，推导出分配给每个分量的样本数量的高概率上界。
• 分析利用高斯随机矩阵的谱性质，将预测误差转化为估计误差。
• 关键步骤包括利用次指数尾部界，对误分类样本集合上的二次型 ∑⟨xᵢ, u⟩² 进行有界。
• 证明使用引理 1 控制误分类集合的大小，确保误差随距离的立方衰减。
• 通过结合误差传播与谱下界，作者表明估计误差以 O(dist³) 的速率减小，从而表明超线性收敛。

实验结果

研究问题

• RQ1 尽管现有理论仅预测线性收敛，交替最小化（AM）在具有两个分量的混合线性回归问题中是否表现出超线性收敛？
• RQ2 为何在非凸设置下，尤其在存在潜变量时，AM 的收敛速度显著快于基于梯度的方法？
• RQ3 AM 在两分量混合线性回归模型中观测到的快速收敛现象能否在理论上得到解释？
• RQ4 正确初始化在实现 AM 的超线性收敛中起到何种作用？
• RQ5 实验中观测到的约 1.75–1.8 的收敛指数是否与理论上的超线性速率一致？

主要发现

• 在正确初始化下，AM 在两分量混合线性回归问题中实现了超线性收敛速率，收敛至 ℓ₂ 范数下 ε 的误差仅需 O(log log(1/ε)) 次迭代。
• 估计误差以 O(dist³) 的速率减小，其中 dist 为与真实参数的 ℓ₂ 距离，证实了超线性收敛。
• 理论分析表明，通过次高斯和次指数集中不等式，误分类样本的数量被严格控制。
• 设计矩阵的谱范数确保预测误差能以有利的下界转化为估计误差，从而实现误差的立方衰减。
• 实证结果证实，AM 在迭代次数和实际运行时间上均优于基于梯度的方法，验证了理论上的加速效果。
• 实验中观测到的收敛指数（1.75–1.8）与超线性行为一致，尽管理论分析表明其应为立方衰减速率。