[论文解读] Approximate loss minimization with heavy tails.

Daniel Hsu, Sivan Sabato|arXiv (Cornell University)|Jul 7, 2013

Sparse and Compressive Sensing Techniques被引用 10

一句话总结

本文提出了一种适用于度量空间的广义中位数-均值估计器，仅依赖有界低阶矩，即可在重尾分布下实现指数集中。该方法在近似最小化平滑且强凸损失（如最小二乘回归）时，实现了最优样本复杂度 $ ilde{O}(dackepsilon(1/\delta))$，且无需假设子高斯或有界协变量或噪声。

ABSTRACT

This work studies applications and generalizations of a simple estimation technique that provides exponential concentration under heavy-tailed distributions, assuming only bounded low-order moments. We show that the technique can be used for approximate minimization of smooth and strongly convex losses, and specifically for least squares linear regression. For instance, our $d$-dimensional estimator requires just $ ilde{O}(d\log(1/\delta))$ random samples to obtain a constant factor approximation to the optimal least squares loss with probability $1-\delta$, without requiring the covariates or noise to be bounded or subgaussian. We provide further applications to sparse linear regression and low-rank covariance matrix estimation with similar allowances on the noise and covariate distributions. The core technique is a generalization of the median-of-means estimator to arbitrary metric spaces.

研究动机与目标

• 开发一种鲁棒估计技术，即使在仅具有有界低阶矩的重尾分布下，也能保持强集中性质。
• 将中位数-均值原理从实值数据推广至任意度量空间，以拓展其适用范围。
• 在高维设置下，实现平滑且强凸损失近似最小化的最优样本复杂度。
• 将该方法应用于实际问题，如最小二乘回归、稀疏线性回归和低秩协方差估计，且在弱分布假设下仍有效。
• 消除高维估计任务中对子高斯或有界噪声与协变量的需求，提升现实场景下的鲁棒性。

提出的方法

• 通过在经验风险最小化器空间中使用几何中位数，将经典中位数-均值估计器推广至任意度量空间。
• 采用分组策略：将数据划分为若干组，每组独立计算风险最小化器，随后取这些估计器的几何中位数。
• 依赖损失函数的稳定性和度量结构，确保即使在重尾分布下也能实现集中。
• 仅以有界低阶矩（如二阶矩）作为最小假设，避免子高斯或有界性要求。
• 将广义中位数-均值方法应用于具体问题：最小二乘回归、稀疏回归和低秩协方差估计。
• 通过度量空间中的集中不等式建立理论保证，利用几何中位数的压缩性质。

实验结果

研究问题

• RQ1 中位数-均值原理能否推广至度量空间，以在重尾分布下保持指数集中？
• RQ2 在弱矩假设下，实现对最优损失的常数因子近似，其最优样本复杂度是多少？
• RQ3 该方法能否在不假设子高斯或有界噪声的前提下，应用于稀疏线性回归和低秩协方差估计？
• RQ4 当数据分布具有重尾时，广义中位数-均值估计器的性能与经典估计器相比如何？
• RQ5 在非子高斯设定下，实现强集中的最小矩条件是什么？

主要发现

• 所提出的估计器仅需 $ ilde{O}(d\log(1/\delta))$ 个样本，即可在 $d$ 维空间中以概率 $1 - \delta$ 实现对最优最小二乘损失的常数因子近似。
• 该方法无需对协变量或噪声作子高斯或有界性假设，仅依赖有界低阶矩。
• 广义中位数-均值估计器在度量空间中实现指数集中，即使在重尾分布下亦成立。
• 该技术适用于稀疏线性回归，在弱矩条件下实现鲁棒性。
• 对于低秩协方差矩阵估计，该方法可在不假设元素有界或子高斯的条件下提供鲁棒估计。
• 理论框架表明，经验风险最小化器的几何中位数在高维设置下可提供鲁棒性与最优样本复杂度。