[论文解读] Minimum 𝓁 1 -norm interpolation via basis pursuit is robust to errors.

Geoffrey Chinot, Matthias Löffler+1 more|arXiv (Cornell University)|Dec 1, 2020

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

该论文证明了在特征数量相对于样本量呈超线性增长的独立同分布高斯特征下，基追踪——即最小 ℓ₁-范数插值——即使在存在任意加性误差的情况下，也能鲁棒地恢复真实的回归系数。欧几里得误差被证明与平均噪声水平成比例，表明其在无需对误差结构做任何假设的情况下具有近乎最优的鲁棒性。

ABSTRACT

This article studies basis pursuit, i.e. minimum $\ell_1$-norm interpolation, in sparse linear regression with additive errors. No conditions on the errors are imposed. It is assumed that the number of i.i.d. Gaussian features grows superlinear in the number of samples. The main result is that under these conditions the Euclidean error of recovering the true regressor is of the order of the average noise level. Hence, the regressor recovered by basis pursuit is close to the truth if the average noise level is small. Lower bounds that show near optimality of the results complement the analysis. In addition, these results are extended to low rank trace regression. The proofs rely on new lower tail bounds for maxima of Gaussians vectors and the spectral norm of Gaussian matrices, respectively, and might be of independent interest as they are significantly stronger than the corresponding upper tail bounds.

研究动机与目标

• 分析基追踪在存在任意加性误差时于稀疏线性回归中的鲁棒性。
• 在不假设误差分布的前提下，建立恢复回归系数的误差界。
• 研究基追踪实现近似最优恢复性能的条件。
• 将分析扩展至低秩迹回归设置。
• 推导支持理论结果的新概率界，包括高斯最大值和谱范数。

提出的方法

• 采用基追踪，即对回归系数进行 ℓ₁-最小化，以从噪声观测中恢复稀疏信号。
• 采用特征数量相对于样本数量呈超线性增长的条件，且特征为独立同分布的高斯分布。
• 推导高斯向量最大值和高斯矩阵谱范数的新下尾界。
• 将这些界应用于控制估计回归系数在欧几里得范数下与真实值的偏离程度。
• 通过类似的 ℓ₁-最小化技术，将该框架扩展至低秩矩阵恢复的迹回归问题。
• 依赖于强于标准上尾界的概率不等式和尾部界。

实验结果

研究问题

• RQ1 当误差为任意且无结构时，基追踪在稀疏线性回归中的表现如何？
• RQ2 在存在噪声的情况下，何种条件可确保 ℓ₁-正则化解仍接近真实回归系数？
• RQ3 是否可以在不假设误差服从次高斯或有界分布的前提下，以平均噪声水平来界定恢复误差？
• RQ4 所推导的误差界在多大程度上是最优的？与理论下界相比如何？
• RQ5 该分析能否扩展至通过迹回归实现的低秩矩阵恢复，并获得类似保证？

主要发现

• 即使在不假设误差分布的前提下，基追踪估计器的欧几里得误差仍被有界为平均噪声水平的常数倍。
• 恢复误差与平均噪声水平成比例，表明对任意加性误差具有鲁棒性。
• 理论界近乎最优，论文中推导的匹配下界支持了这一点。
• 建立了高斯向量最大值和高斯矩阵谱范数的新下尾界，其强度超过现有上尾界。
• 结果可扩展至低秩迹回归，表明在类似条件下具有相同的鲁棒性特征。
• 所推导的概率界本身具有独立兴趣，可能在稀疏恢复之外的应用中发挥作用。