[论文解读] Solving a Mixture of Many Random Linear Equations by Tensor Decomposition and Alternating Minimization

Xinyang Yi, Constantine Caramanis+1 more|arXiv (Cornell University)|Aug 19, 2016

Markov Chains and Monte Carlo Methods参考文献 2被引用 37

一句话总结

该论文提出了一种两阶段算法，结合张量分解与交替最小化，以求解具有 k 个分量的混合随机线性方程，在维度 p 上样本复杂度线性、在 k 上多项式，实现了精确恢复。该方法在通过张量分解初始化后，可保证交替最小化的全局收敛性，为一般 k 提供了首个具有最优样本复杂度的可证明高效解法。

ABSTRACT

We consider the problem of solving mixed random linear equations with $k$ components. This is the noiseless setting of mixed linear regression. The goal is to estimate multiple linear models from mixed samples in the case where the labels (which sample corresponds to which model) are not observed. We give a tractable algorithm for the mixed linear equation problem, and show that under some technical conditions, our algorithm is guaranteed to solve the problem exactly with sample complexity linear in the dimension, and polynomial in $k$, the number of components. Previous approaches have required either exponential dependence on $k$, or super-linear dependence on the dimension. The proposed algorithm is a combination of tensor decomposition and alternating minimization. Our analysis involves proving that the initialization provided by the tensor method allows alternating minimization, which is equivalent to EM in our setting, to converge to the global optimum at a linear rate.

研究动机与目标

• 解决从无标签混合样本中估计多个线性模型的挑战，其中分量身份（标签）未被观测到。
• 在随机协变量设计下，为具有 k 个分量的混合线性方程开发一种可计算的算法，克服以往方法在 k 或维度上存在指数或超线性依赖的局限性。
• 通过结合张量分解进行初始化与交替最小化进行精炼，建立精确恢复的理论保证。
• 证明当通过张量方法将初始值设置在真实参数的常数相对误差范围内时，交替最小化可线性收敛至全局最优解。

提出的方法

• 该算法利用从数据中构造的新型三阶矩张量，通过张量分解估计分量参数，从而获得接近真实参数的初始估计。
• 该方法利用协变量的高斯设计（x_i ~ N(0, I_p)），以确保矩张量具有良好条件性，便于分解。
• 应用交替最小化来精炼初始估计，将问题视为具有结构化隐变量的非凸优化问题。
• 分析证明，当初始值在真实解的常数相对误差范围内时，交替最小化可实现对全局最优解的线性收敛。
• 证明张量分解步骤可在 O(1/ɛ²) 个样本内实现 ɛ-接近的估计，为第二阶段提供良好初始化。
• 理论保证依赖于在由隐分量结构定义的条件事件下的集中不等式与次高斯尾部界。

实验结果

研究问题

• RQ1 是否存在一种计算高效的算法，能够对一般 k ≥ 2 的混合线性方程问题实现精确恢复，并达到最优样本复杂度？
• RQ2 当通过张量分解初始化时，交替最小化是否能全局收敛至真实参数？
• RQ3 在具有 k 个分量和随机协变量的无噪声混合线性回归模型中，精确恢复所需的最小样本复杂度是多少？
• RQ4 与 EM 和基于梯度的方法相比，该方法在收敛性和样本效率方面表现如何？
• RQ5 张量分解能否提供一种鲁棒的初始化，从而实现高维混合模型中非凸优化的线性收敛？

主要发现

• 所提出的算法在高概率下使用 Õ(k¹⁰p) 个样本实现精确恢复，其样本复杂度在维度 p 上为线性，在 k 上为多项式，相较于以往方法有显著改进。
• 样本复杂度近乎最优，仅在 p 上具有对数因子，且在 k 上为多项式依赖。
• 张量分解可在 O(1/ɛ²) 个样本内实现 ɛ-接近的初始化，从而确保后续交替最小化的收敛性。
• 当初始值在真实参数的常数相对误差范围内时，交替最小化可线性收敛至全局最优解。
• 该方法是首个为 k ≥ 3 的混合线性回归问题提供交替最小化全局收敛性保证的算法。
• 分析表明，该算法在高斯协变量下具有鲁棒性，并通过条件次高斯性建立了强集中不等式。