[论文解读] Iterative Least Trimmed Squares for Mixed Linear Regression

Yanyao Shen, Sujay Sanghavi|arXiv (Cornell University)|Feb 10, 2019

Advanced Statistical Methods and Models参考文献 33被引用 5

一句话总结

该论文提出了一种名为迭代最小修剪平方（ILTS）的简单而有效的算法，用于处理存在污染的混合线性回归问题，该算法通过在每次迭代中选择损失最小的样本子集并在此子集上重新拟合模型来交替进行。作者在确定性条件下建立了线性收敛至最近混合分量的理论，并在各向同性高斯设置下展示了其在样本复杂度方面优于或匹配现有最先进方法的性能表现。

ABSTRACT

Given a linear regression setting, Iterative Least Trimmed Squares (ILTS) involves alternating between (a) selecting the subset of samples with lowest current loss, and (b) re-fitting the linear model only on that subset. Both steps are very fast and simple. In this paper we analyze ILTS in the setting of mixed linear regression with corruptions (MLR-C). We first establish deterministic conditions (on the features etc.) under which the ILTS iterate converges linearly to the closest mixture component. We also provide a global algorithm that uses ILTS as a subroutine, to fully solve mixed linear regressions with corruptions. We then evaluate it for the widely studied setting of isotropic Gaussian features, and establish that we match or better existing results in terms of sample complexity. Finally, we provide an ODE analysis for a gradient-descent variant of ILTS that has optimal time complexity. Our results provide initial theoretical evidence that iteratively fitting to the best subset of samples -- a potentially widely applicable idea -- can provably provide state of the art performance in bad training data settings.

研究动机与目标

• 开发一种简单、迭代的算法，用于在污染条件下进行混合线性回归，以避免最小修剪平方（LTS）的计算不可行性。
• 为 ILTS 提供理论保证，包括在确定性条件下线性收敛至混合分量。
• 在各向同性高斯特征设置下，建立 ILTS 的样本复杂度边界，使其与现有结果相当或更优。
• 设计一种全局算法，将 ILTS 作为子程序，以恢复混合线性回归中的所有分量。
• 通过 ODE 分析研究 ILTS 的梯度下降变体，实现最优时间复杂度。

提出的方法

• ILTS 在选择损失最小的前 τ 比例样本与在该子集上重新拟合线性模型之间交替进行。
• 通过按平方误差对样本排序并选取最小的 τn 个样本，实现子集选择，从而保证计算效率。
• 模型更新步骤在选定子集上求解标准最小二乘问题，确保快速收敛。
• 在特征和模型参数的确定性条件下对算法进行分析，以保证线性收敛。
• 采用基于 ODE 的分析方法研究 ILTS 的梯度下降变体，提供时间复杂度保证。
• 通过迭代应用 ILTS 以恢复每个分量，构建全局恢复算法，假设初始估计值接近真实分量。

实验结果

研究问题

• RQ1 在何种确定性条件下，ILTS 能够在线性收敛至混合线性回归中污染情况下的最近混合分量？
• RQ2 在各向同性高斯特征设置下，ILTS 的样本复杂度相较于现有方法表现如何？
• RQ3 ILTS 是否可扩展为一种全局算法，以恢复混合线性回归中的所有分量？
• RQ4 ILTS 的梯度下降变体的时间复杂度是多少？是否达到最优？
• RQ5 ILTS 梯度变体的 ODE 分析如何反映其收敛行为？

主要发现

• 在特征和模型参数的确定性条件下，ILTS 能够线性收敛至最近的混合分量。
• 在各向同性高斯特征设置下，ILTS 实现的样本复杂度与现有最先进结果相当或更优。
• 使用 ILTS 作为子程序的全局算法能够成功恢复混合线性回归中的所有分量。
• ILTS 梯度下降变体的 ODE 分析证实了其达到最优时间复杂度，支持其在实际应用中的高效性。
• 理论边界表明，误差随迭代次数呈指数衰减，收敛速率取决于特征结构和初始化质量。
• 该方法通过在每次迭代中聚焦于最一致的样本子集，表现出对对抗性污染的可证明鲁棒性。