[论文解读] Efficient Algorithms for Outlier-Robust Regression

Adam R. Klivans, Pravesh K. Kothari+1 more|arXiv (Cornell University)|Mar 8, 2018

Machine Learning and Algorithms参考文献 18被引用 31

一句话总结

该论文提出了首个在特征和标签均遭受对抗性污染的条件下，针对鲁棒线性与多项式回归的多项式时间算法。该方法利用矩生成法（sum-of-squares, SoS）在输入分布为可证明超收缩（certifiably hypercontractive）——如高斯分布、对数凹分布及超立方体分布——的情况下，实现接近最优回归误差的误差水平，且在污染比例为常数比例时仍有效。

ABSTRACT

We give the first polynomial-time algorithm for performing linear or polynomial regression resilient to adversarial corruptions in both examples and labels. Given a sufficiently large (polynomial-size) training set drawn i.i.d. from distribution D and subsequently corrupted on some fraction of points, our algorithm outputs a linear function whose squared error is close to the squared error of the best-fitting linear function with respect to D, assuming that the marginal distribution of D over the input space is \emph{certifiably hypercontractive}. This natural property is satisfied by many well-studied distributions such as Gaussian, strongly log-concave distributions and, uniform distribution on the hypercube among others. We also give a simple statistical lower bound showing that some distributional assumption is necessary to succeed in this setting. These results are the first of their kind and were not known to be even information-theoretically possible prior to our work. Our approach is based on the sum-of-squares (SoS) method and is inspired by the recent applications of the method for parameter recovery problems in unsupervised learning. Our algorithm can be seen as a natural convex relaxation of the following conceptually simple non-convex optimization problem: find a linear function and a large subset of the input corrupted sample such that the least squares loss of the function over the subset is minimized over all possible large subsets.

研究动机与目标

• 开发首个针对输入特征与标签同时遭受对抗性污染的线性与多项式回归的高效算法。
• 确立在何种条件下鲁棒回归在信息论上是可能的，表明分布假设是必要的。
• 形式化并利用可证明超收缩分布的概念，以通过矩生成法实现高效优化。
• 提供一个多项式时间算法，即使在常数比例数据被污染的情况下，其误差仍可与真实数据分布下的最优回归函数相媲美。
• 证明：若无分布假设，则无法实现非平凡的鲁棒回归保证，从而建立统计下界。

提出的方法

• 将问题形式化为从 η-污染的独立同分布样本中学习线性函数，其中最多 η 比例的样本在特征和标签上均被对抗性地修改。
• 引入可证明 (C,4)-超收缩分布的概念，该类分布包括高斯分布、对数凹分布以及有界域上的乘积分布。
• 提出对非凸问题的凸松弛：寻找一个线性函数及一个较大的数据子集，使该子集上的最小二乘损失最小化。
• 利用矩生成法（SoS）设计一个多项式时间算法，以验证超收缩性并求解松弛后的优化问题。
• 构建一个四次矩生成法证明系统，用于验证超收缩性条件，从而在该结构假设下实现高效优化。
• 结合基于 SoS 的估计与鲁棒统计学习技术，确保误差界接近真实分布下的最优误差。

实验结果

研究问题

• RQ1 我们能否设计出一种高效算法，使得在线性回归中，当特征和标签均被对抗性敌手污染了常数比例数据时，仍能保持准确性？
• RQ2 为使鲁棒异常值检测在信息论上成为可能，需要哪些分布假设？
• RQ3 能否利用矩生成法设计出在可证明超收缩性条件下，具有多项式时间保证的鲁棒回归算法？
• RQ4 在不假设噪声有界或次高斯的前提下，是否可能实现接近真实数据分布下最优回归误差的误差水平？
• RQ5 当输入边际分布为任意分布时，鲁棒回归的根本统计极限是什么？

主要发现

• 所提出的算法在多项式时间内运行，且在输入边际分布为可证明 (C,4)-超收缩分布的假设下，其误差界与真实分布下的最优误差仅相差一个较小的加法常数。
• 当污染比例 η 小于 C² 的常数倒数时，该算法能够成功运行，其中 C 为输入分布的超收缩常数。
• 该方法适用于广泛的分布类，包括高斯分布、强对数凹分布，以及在有界边际下的超立方体上的乘积分布。
• 论文建立了统计下界，表明若无分布假设，则即使在标签噪声无界的情况下，也无法实现非平凡的鲁棒回归保证。
• 矩生成法框架使得非凸鲁棒回归问题得以实现凸松弛，从而在超收缩性假设下实现高效优化。
• 即使在对抗性污染下，该算法输出的假设其误差仍被控制在一个相对于最优误差的微小加法项之内。