[论文解读] Loss minimization and parameter estimation with heavy tails

Daniel Hsu, Sivan Sabato|arXiv (Cornell University)|Jan 1, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用 91

一句话总结

本文提出了一种广义的中位数-均值估计器，用于在重尾分布下进行参数估计，仅需有界低阶矩。该方法在 d 维最小二乘回归中仅需 O(d log(1/δ)) 个样本即可实现指数集中性，从而在无需子高斯或有界噪声假设的情况下实现鲁棒估计。

ABSTRACT

This work studies applications and generalizations of a simple estimation technique that provides exponential concentration under heavy-tailed distributions, assuming only bounded low-order moments. We show that the technique can be used for approximate minimization of smooth and strongly convex losses, and specifically for least squares linear regression. For instance, our d-dimensional estimator requires just O(d log(1/δ)) random samples to obtain a constant factor approximation to the optimal least squares loss with probability 1-δ, without requiring the covariates or noise to be bounded or subgaussian. We provide further applications to sparse linear regression and low-rank covariance matrix estimation with similar allowances on the noise and covariate distributions. The core technique is a generalization of the median-of-means estimator to arbitrary metric spaces.

研究动机与目标

• 解决在传统方法因方差无界或子高斯假设而失效的重尾分布下的参数估计挑战。
• 将中位数-均值估计器推广至任意度量空间，以提升在高维和非子高斯设置下的鲁棒性。
• 在弱矩条件（无需有界或子高斯协变量或噪声）下，实现线性回归和低秩协方差矩阵的高效且精确估计。
• 为在数据分布假设最弱条件下的光滑强凸损失最小化提供理论保证。
• 将鲁棒估计技术的适用范围扩展至重尾噪声下的稀疏线性回归和协方差估计。

提出的方法

• 将经典中位数-均值估计器推广至任意度量空间，使鲁棒估计超越欧几里得设置。
• 采用划分策略将数据分为子集，计算局部估计，并在度量空间中取中位数以降低对异常值的敏感性。
• 利用度量空间中中位数的稳定性，在仅要求有界低阶矩的条件下，实现估计器围绕真实参数的指数集中性。
• 将广义中位数-均值方法应用于最小化光滑且强凸损失（包括最小二乘法），并提供高概率保证。
• 推导样本复杂度界，表明 O(d log(1/δ)) 个样本足以在置信度 1−δ 下实现对最优最小二乘损失的常数因子近似。
• 通过将中位数-均值方法适配至结构化参数空间，将该框架扩展至稀疏线性回归和低秩协方差矩阵估计。

实验结果

研究问题

• RQ1 能否开发一种鲁棒估计技术，仅在有界低阶矩下工作，而无需子高斯或有界噪声假设？
• RQ2 如何将中位数-均值原理推广至实数线以外的度量空间，以实现在复杂参数空间中的鲁棒估计？
• RQ3 在重尾分布下，为实现对最优最小二乘解的高概率近似，需要多少样本复杂度？
• RQ4 广义中位数-均值能否有效应用于稀疏回归和低秩协方差估计等结构化估计问题？
• RQ5 在弱矩假设下，该方法在集中性和估计误差方面能建立何种理论保证？

主要发现

• 广义中位数-均值估计器在仅要求有界低阶矩的条件下，可实现参数估计围绕真实值的指数集中性。
• 对于 d 维最小二乘回归，该方法仅需 O(d log(1/δ)) 个样本，即可在概率 1−δ 下实现对最优损失的常数因子近似。
• 只要低阶矩有界，即使协变量或噪声为重尾、子高斯或无界，该估计器仍保持鲁棒性。
• 该框架成功扩展至稀疏线性回归，在弱矩条件下保持样本效率和鲁棒性。
• 该方法可在无需子高斯或有界数据的条件下，实现具有类似鲁棒性保证的准确低秩协方差矩阵估计。
• 理论分析证实，度量空间中的中位数-均值方法即使在重尾数据存在时，也能提供强大的高概率误差界。