[论文解读] A Shrinkage Principle for Heavy-Tailed Data: High-Dimensional Robust Low-Rank Matrix Recovery

Jianqing Fan, Weichen Wang+1 more|arXiv (Cornell University)|Mar 28, 2016

Sparse and Compressive Sensing Techniques参考文献 53被引用 34

一句话总结

本文提出一种收缩原理，可在仅具有有限二阶或四阶矩的重尾噪声下，实现鲁棒的高维低秩矩阵恢复。通过在应用惩罚最小二乘法前对数据进行截断或收缩，该方法即使在误差和设计矩阵仅具有有限矩的情况下，也能实现与次高斯设定下相当的最优统计误差率，显著拓宽了高维推断技术的适用范围。

ABSTRACT

This paper introduces a simple principle for robust high-dimensional statistical inference via an appropriate shrinkage on the data. This widens the scope of high-dimensional techniques, reducing the moment conditions from sub-exponential or sub-Gaussian distributions to merely bounded second or fourth moment. As an illustration of this principle, we focus on robust estimation of the low-rank matrix $Θ^*$ from the trace regression model $Y=Tr (Θ^{*T}X) +ε$. It encompasses four popular problems: sparse linear models, compressed sensing, matrix completion and multi-task regression. We propose to apply penalized least-squares approach to appropriately truncated or shrunk data. Under only bounded $2+δ$ moment condition on the response, the proposed robust methodology yields an estimator that possesses the same statistical error rates as previous literature with sub-Gaussian errors. For sparse linear models and multi-tasking regression, we further allow the design to have only bounded fourth moment and obtain the same statistical rates, again, by appropriate shrinkage of the design matrix. As a byproduct, we give a robust covariance matrix estimator and establish its concentration inequality in terms of the spectral norm when the random samples have only bounded fourth moment. Extensive simulations have been carried out to support our theories.

研究动机与目标

• 开发一种鲁棒的统计框架，用于在数据呈现重尾分布时进行高维低秩矩阵恢复。
• 降低高维推断所需的矩条件——从次高斯或次指数分布降低至仅要求二阶或四阶矩有界。
• 将迹回归模型的适用范围扩展至包含重尾噪声和设计矩阵的场景，且仅需最弱的矩条件。
• 提出一种统一的方法，通过数据收缩在弱矩条件下实现最优统计误差率。
• 在四阶矩有界的条件下，建立具有改进集中性质的鲁棒协方差估计量。

提出的方法

• 在估计前对响应变量和设计变量应用数据收缩或截断过程。
• 对收缩或截断后的数据应用惩罚最小二乘回归，以估计低秩系数矩阵。
• 在原始-对偶分裂算法（如收缩型PRSM）中使用奇异值软阈值法求解优化问题。
• 提出一种基于收缩的样本协方差估计量，在重尾分布下表现出更优的集中性。
• 采用一种鲁棒损失函数，对大偏离值进行降权，从而增强对异常值和重尾分布的鲁棒性。
• 推导理论误差界，表明该方法在仅具有有界2+δ或四阶矩的条件下，仍能达到与次高斯方法相同的统计速率。

实验结果

研究问题

• RQ1 当噪声仅具有有界二阶矩时，能否使高维低秩矩阵恢复对重尾噪声具有鲁棒性？
• RQ2 当设计矩阵仅具有有界四阶矩时，能否在保持最优统计速率的前提下进行恢复？
• RQ3 在弱矩假设下，数据收缩是否能使迹回归模型实现最优误差率？
• RQ4 能否构建一种鲁棒协方差估计量，使其在四阶矩有界的条件下仍保持集中性？
• RQ5 在重尾噪声下的有限样本中，该基于收缩的方法与标准方法相比表现如何？

主要发现

• 所提出的收缩方法即使在噪声仅具有有界2+δ矩时，也能达到与次高斯方法相同的统计误差率。
• 对于稀疏线性模型和多任务回归，通过收缩设计矩阵，当设计矩阵仅具有有界四阶矩时，该方法仍能保持最优速率。
• 基于收缩的鲁棒协方差估计量在四阶矩有界的条件下，其谱范数表现出稳定的集中性，而标准样本协方差则不具备此性质。
• 模拟结果表明，该鲁棒方法在对数正态分布和截断柯西噪声下显著优于标准方法，而在高斯噪声下性能与之相当。
• 随着维度增加，收缩估计量能更有效地降低统计误差，尤其在重尾分布下表现更优。
• 该方法在不同样本大小和维度下均保持一致的性能，且在重尾数据下表现出误差稳定性。