[论文解读] A Convex Formulation for Mixed Regression with Two Components: Minimax Optimal Rates

Yudong Chen, Xinyang Yi+1 more|arXiv (Cornell University)|Dec 25, 2013

Statistical Methods and Inference被引用 16

一句话总结

本文为具有两个分量的混合线性回归提出了一种凸优化公式，可在对抗性噪声和随机噪声下实现对真实回归器的可证明恢复。其误差率达到了极小化极大最优水平，样本复杂度接近 O(p)，在理论上优于先前的张量方法，并在对数因子范围内达到信息论极限。

ABSTRACT

We consider the mixed regression problem with two components, under adversarial and stochastic noise. We give a convex optimization formulation that provably recovers the true solution, and provide upper bounds on the recovery errors for both arbitrary noise and stochastic noise settings. We also give matching minimax lower bounds (up to log factors), showing that under certain assumptions, our algorithm is information-theoretically optimal. Our results represent the first tractable algorithm guaranteeing successful recovery with tight bounds on recovery errors and sample complexity.

研究动机与目标

• 解决在标签不可观测时，具有两个未知回归器的混合线性回归问题，该问题在统计和计算上均具有挑战性。
• 开发一种高效且可计算的算法，在对抗性噪声和随机噪声下均具备可证明的恢复保证。
• 在估计误差和样本复杂度方面获得紧致界，其结果在对数因子范围内与信息论下界一致。
• 解决混合回归中计算效率与统计最优性之间的权衡，特别是在高维设置下。

提出的方法

• 通过捕捉混合结构的提升表示，将混合回归问题形式化为凸优化问题。
• 引入一种凸松弛，通过半定规划实现全局优化，避免了期望最大化（EM）算法的局部极小值问题。
• 利用矩估计和类似张量的约束，从无标签数据中同时恢复两个回归器。
• 在高斯设计假设下，通过集中不等式和谱分析建立理论保证。
• 利用对偶性和范数集中性推导估计误差的上界，证明对对抗性噪声和次高斯噪声的鲁棒性。
• 证明极小化极大下界，其与上界在对数因子范围内一致，从而确认信息论最优性。

实验结果

研究问题

• RQ1 在对抗性噪声下，凸优化方法能否在双分量混合线性回归中实现可证明的恢复？
• RQ2 在存在随机噪声的情况下，恢复两个回归器的最优样本复杂度是多少？
• RQ3 所提出的凸公式是否在对数因子范围内实现极小化极大最优误差率？
• RQ4 在随机设置下，误差率如何随信噪比和维度变化？
• RQ5 该方法是否在样本复杂度和误差界方面均优于现有的非凸或张量方法？

主要发现

• 在对抗性噪声下，估计器的误差界为 $\|\bm{e}\|_2 / \sqrt{n}$ 量级，表明在无噪声情况下使用 $O(p)$ 个样本可实现精确恢复。
• 在标签平衡且设计为高斯分布的随机噪声设置下，误差率表现出三种不同的阶段，当 $\gamma \geq \sigma$ 时，最优标度为 $\sigma \sqrt{p/n}$。
• 该方法在任意噪声和随机噪声两种情形下，均实现了对数因子范围内的极小化极大最优误差率，确认了理论最优性。
• 样本复杂度为 $O(p)$，与信息论下界一致，优于先前张量方法所需的 $O(p^6)$ 个样本。
• 该凸公式避免了 EM 算法的局部极小值问题，提供了全局收敛保证，而现有非凸方法不具备此特性。
• 分析揭示了与标准回归不同的误差标度行为，其表现出依赖于信号与噪声相对大小的非标准阶段。