[论文解读] A Convex Formulation for Mixed Regression: Near Optimal Rates in the Face of Noise.

Yudong Chen, Xinyang Yi+1 more|arXiv (Cornell University)|Dec 25, 2013

Sparse and Compressive Sensing Techniques参考文献 34被引用 5

一句话总结

该论文为具有两个分量的混合回归提出了一种凸优化公式，通过提升技术在无噪声和有噪声设置下均实现了近乎最优的样本复杂度和误差界。该方法提供了首个在对抗性噪声和随机噪声下具有紧致理论保证的可计算算法。

ABSTRACT

Mixture models represent the superposition of statistical processes, and are natural in machine learning and statistics. Despite the prevalence and importance of mixture models, little is known in the realm of efficient algorithms with strong statistical guarantees. The Expectation-Minimization (EM) approach is perhaps the most popular, yet save for the Gaussian mixture clustering problem, few guarantees exist. For mixed regression in the noiseless setting, in particular, only recently has an EM-like algorithm been able to provide near-tight guarantees. In the noisy setting, tensor approaches have recently succeeded in providing a tractable and statistically consistent approach, but require a sample complexity much higher than the information-theoretic limits. We consider the mixed regression problem with two components, under adversarial and stochastic noise. Using a lifting to a higher dimensional space, we give a convex optimization formulation that provably recovers the true solution, with near-optimal sample complexity and error bounds. In the noiseless setting, our results remove the extra log factor from recent (and best-to-date) work, thus achieving exact recovery with order-wise as many samples as the degrees of freedom. In the general setting with noise, our results represent the first (and currently only known) tractable algorithm guaranteeing successful recovery with tight bounds on sample complexity and recovery errors.

研究动机与目标

• 解决混合回归中缺乏高效且具有强统计保证的算法的问题，尤其是在有噪声设置下。
• 克服EM方法和张量方法的局限性，这些方法或缺乏理论保证，或需要极高的样本复杂度。
• 开发一种凸优化框架，以在对抗性噪声和随机噪声下实现对真实回归分量的可证明恢复。
• 实现接近最优的样本复杂度和误差界，逼近信息论极限。
• 为在一般噪声模型下具有两个分量的混合回归提供首个可计算且具有紧致理论边界的算法。

提出的方法

• 将混合回归问题提升到更高维空间，以将非凸问题转化为凸问题。
• 将问题公式化为一个可使用标准凸求解器高效求解的凸优化程序。
• 采用受矩阵补全和低秩恢复启发的提升技术，以编码混合结构。
• 引入噪声感知正则化，以确保在对抗性噪声和随机噪声模型下的鲁棒性。
• 证明该凸公式在无噪声情况下可精确恢复真实回归分量，在有噪声情况下具有有界误差。
• 建立样本复杂度和恢复误差的理论边界，其阶数与信息论极限一致，仅相差对数因子。

实验结果

研究问题

• RQ1 能否为具有两个分量的混合回归设计一种凸公式，使其在存在噪声时实现近乎最优的样本复杂度？
• RQ2 所提出的方法是否在对抗性噪声和随机噪声下均提供可证明的恢复保证？
• RQ3 该算法的样本复杂度能否匹配或逼近混合回归的信息论下限？
• RQ4 与EM或张量方法等现有非凸方法相比，该凸方法在理论保证方面表现如何？
• RQ5 是否可能在无噪声设置下实现精确恢复，且样本复杂度中不包含额外的对数因子？

主要发现

• 所提出的凸公式在无噪声设置下实现了精确恢复，其样本复杂度与自由度匹配，消除了先前工作中存在的额外对数因子。
• 在有噪声设置下，该算法保证了有界的恢复误差，且样本复杂度近乎最优，逼近信息论极限。
• 该方法是首个为具有两个分量的混合回归提供紧致理论边界（包括样本复杂度和恢复误差）的可计算算法。
• 基于提升的凸公式对对抗性噪声和随机噪声均表现出鲁棒性，并具有可证明的收敛性至真实解。
• 理论分析证实，该算法的样本复杂度在阶数上是最优的，仅相差对数因子，因此在信息论上是高效的。
• 该框架为混合回归提供了一种新的、可证明一致的方法，克服了EM方法和张量方法在理论保证方面的局限性。