[论文解读] Alternating Minimization for Mixed Linear Regression

Xinyang Yi, Constantine Caramanis+1 more|arXiv (Cornell University)|Oct 14, 2013

Sparse and Compressive Sensing Techniques参考文献 13被引用 78

一句话总结

该论文通过引入一种基于数据矩阵前两个特征向量的新型谱初始化方法，提出了一种可证明收敛的交替最小化算法，用于混合线性回归。借助此初始化，基于EM的算法仅需 $ O(kar{ ext{log}}^2 k) $ 个样本，即可实现对真实回归向量的指数级快速收敛，样本复杂度达到最优（仅对数因子有差异），并首次为该设定下的EM算法提供了理论保证。

ABSTRACT

Mixed linear regression involves the recovery of two (or more) unknown vectors from unlabeled linear measurements; that is, where each sample comes from exactly one of the vectors, but we do not know which one. It is a classic problem, and the natural and empirically most popular approach to its solution has been the EM algorithm. As in other settings, this is prone to bad local minima; however, each iteration is very fast (alternating between guessing labels, and solving with those labels). In this paper we provide a new initialization procedure for EM, based on finding the leading two eigenvectors of an appropriate matrix. We then show that with this, a re-sampled version of the EM algorithm provably converges to the correct vectors, under natural assumptions on the sampling distribution, and with nearly optimal (unimprovable) sample complexity. This provides not only the first characterization of EM's performance, but also much lower sample complexity as compared to both standard (randomly initialized) EM, and other methods for this problem.

研究动机与目标

• 为解决混合线性回归中EM算法缺乏理论保证的问题，尽管其在实践中广受欢迎，但易陷入局部极小值。
• 设计一种可证明正确的初始化方案，使EM算法能够收敛至全局最优解。
• 在仅从无标签线性测量中恢复两个未知回归向量的前提下，实现近乎最优的样本复杂度。
• 建立EM算法在混合线性回归场景下的首个理论性能边界。

提出的方法

• 提出一种谱初始化方法，通过计算由数据构造的矩阵的前两个特征向量，作为真实回归向量的良好初始估计。
• 利用该初始化结果，启动重采样版本的EM算法，交替执行标签分配与回归系数更新。
• 应用浓度不等式与随机矩阵理论，对每次EM迭代中的误差进行上界估计，证明其指数收敛性。
• 推导由正确和错误标签样本构成的子矩阵的最小奇异值边界，以控制估计误差。
• 利用Hoeffding不等式与标准浓度结果，控制每次迭代中正确与错误标签分配的数量。
• 在较弱假设下证明误差在每次迭代中至少减半，从而实现向真实向量的指数收敛。

实验结果

研究问题

• RQ1 能否设计一种谱初始化方法，使EM算法在混合线性回归中可证明收敛至全局最优？
• RQ2 EM算法在该初始化下，恢复真实回归向量所需最少样本数是多少？
• RQ3 与现有方法相比，该方法是否实现了最优或近似最优的样本复杂度？
• RQ4 能否为混合线性回归中的EM算法建立理论性能保证，而此前该问题缺乏此类分析？

主要发现

• 所提出的谱初始化使EM算法在自然采样假设下，能够以指数速度收敛至真实回归向量。
• 该算法在仅使用 $ O(k\bar{ ext{log}}^2 k) $ 个样本的情况下即可实现精确恢复，其样本复杂度在维度 $ k $ 上达到最优（仅对数因子有差异）。
• 该方法的样本复杂度显著低于标准EM及其他现有方法，后者通常需要更多样本或缺乏理论保证。
• 理论分析表明，估计回归向量的误差在每次EM迭代中至少减半，从而实现指数收敛。
• 理论分析证实，在无噪声设定下，该方法以高概率精确恢复真实值。
• 该方法首次对混合线性回归中的EM算法提供了理论性能表征，解决了长期存在的开放性问题。