[论文解读] Optimal Robust Linear Regression in Nearly Linear Time

Yeshwanth Cherapanamjeri, Efe Aras+4 more|arXiv (Cornell University)|Jul 16, 2020

Machine Learning and Algorithms参考文献 29被引用 13

一句话总结

本文通过利用凸对偶和半定规划（SDP）松弛，提出了一种近乎线性时间的最优鲁棒线性回归算法。它在重尾分布下建立了加权二次型和的高概率界，证明了通过一种新颖的高斯舍入方法，可以处理秩-1矩阵和一般正定矩阵，实现了对鲁棒估计至关重要的常数方差界，从而在最优样本复杂度 ~O(d/η) 下实现高效估计。

ABSTRACT

We study the problem of high-dimensional robust linear regression where a learner is given access to $n$ samples from the generative model $Y = \langle X,w^* angle + ε$ (with $X \in \mathbb{R}^d$ and $ε$ independent), in which an $η$ fraction of the samples have been adversarially corrupted. We propose estimators for this problem under two settings: (i) $X$ is L4-L2 hypercontractive, $\mathbb{E} [XX^ op]$ has bounded condition number and $ε$ has bounded variance and (ii) $X$ is sub-Gaussian with identity second moment and $ε$ is sub-Gaussian. In both settings, our estimators: (a) Achieve optimal sample complexities and recovery guarantees up to log factors and (b) Run in near linear time ($ ilde{O}(nd / η^6)$). Prior to our work, polynomial time algorithms achieving near optimal sample complexities were only known in the setting where $X$ is Gaussian with identity covariance and $ε$ is Gaussian, and no linear time estimators were known for robust linear regression in any setting. Our estimators and their analysis leverage recent developments in the construction of faster algorithms for robust mean estimation to improve runtimes, and refined concentration of measure arguments alongside Gaussian rounding techniques to improve statistical sample complexities.

研究动机与目标

• 在重尾数据分布下，开发一种计算高效的最优鲁棒线性回归算法。
• 弥合高维回归中统计鲁棒性与计算效率之间的差距。
• 通过一种新颖的舍入技术，将秩-1矩阵分析推广至一般正定矩阵。
• 在高概率下实现最优样本复杂度 ~O(d/η)，用于鲁棒估计。
• 通过网格逼近和联合界方法，对所有单位向量和归一化的正定矩阵（PSD）提供一致的浓度界。

提出的方法

• 将鲁棒回归问题提升为半定规划（SDP），以应用凸对偶，尽管最优解位于秩-1矩阵中。
• 在单位向量 (u,v) 上使用精细网格，以统一控制近似误差，并在网格上应用联合界。
• 对于秩-1矩阵 M = vv⊤，构造权重 αi 以避免与 u 和 v 强相关项的出现，从而确保和有界。
• 引入一种高斯舍入方法，将结果从秩-1推广至任意归一化的正定矩阵 M（满足 Tr(M) = 1）。
• 在事件 |⟨Xi, u⟩| ≤ 40/η 和 ⟨XiXi⊤, M⟩ ≤ 400²/η 的联合条件下，建立 ⟨Xi, u⟩²⟨XiXi⊤, M⟩ 和指示函数的统一浓度界。
• 采用两步采样策略：首先，丢弃与非零项高度相关的项，损失可忽略；其次，集中处理剩余项，控制其重叠。

实验结果

研究问题

• RQ1 在重尾分布下，能否在近乎线性时间内计算鲁棒线性回归，同时保持最优的统计保证？
• RQ2 当最优解位于低秩子空间中时，如何在提升至SDP后仍应用凸对偶？
• RQ3 在鲁棒回归中，为实现对所有单位向量和正定矩阵的一致浓度，所需的最小样本复杂度是多少？
• RQ4 能否将高斯舍入方法推广，以在任意正定矩阵 M 的方向上实现常数方差界，而非 O(1/η²) 的界？
• RQ5 如何通过网格逼近和联合界方法，在不产生指数级代价的前提下，实现对所有 (u, M) 对的一致界？

主要发现

• 当从满足假设条件的分布 D 中抽取 n = ~O(d/η) 个样本时，区域 |⟨Xi, u⟩|, |⟨Xi, v⟩| ≤ 800/η 内 ⟨Xi, u⟩²⟨Xi, v⟩² 的期望和被绝对常数 C4 所有界。
• 满足 |⟨Xi, u⟩| ≤ 40/η 和 |⟨Xi, v⟩| ≤ 40/η 的样本比例，以高概率至少为 1 - η/100。
• 该加权和的界可推广至任意归一化的正定矩阵 M（满足 Tr(M) = 1），得到 E[n][⟨Xi, u⟩²⟨XiXi⊤, M⟩1{...}] ≤ C6，其中 C6 为绝对常数。
• 事件 |⟨Xi, u⟩| ≤ 40/η 和 ⟨XiXi⊤, M⟩ ≤ 400²/η 的指示函数的期望至少为 1 - η/25。
• 高斯舍入方法成功将先前结果推广，实现了常数方差界而非 O(1/η²)，从而在 M 的方向上实现紧密控制。
• 最终结果确保鲁棒回归估计器在高维下以高概率实现最优样本复杂度和统计效率。