[论文解读] A Statistical Learning Assessment of Huber Regression

Yunlong Feng, Qiang Wu|arXiv (Cornell University)|Sep 27, 2020

Advanced Statistical Methods and Models参考文献 24被引用 5

一句话总结

本文对Huber回归进行了全面的统计学习分析，表明在自适应尺度参数下，Huber估计量在(1+ε)阶矩条件下（ε > 0）可实现渐近均值回归校准和几乎必然收敛，即使噪声具有无限方差。该研究建立了鲁棒的收敛速率，并从理论上证明了Huber回归在重尾分布设定下的优越性。

ABSTRACT

As one of the triumphs and milestones of robust statistics, Huber regression plays an important role in robust inference and estimation. It has also been finding a great variety of applications in machine learning. In a parametric setup, it has been extensively studied. However, in the statistical learning context where a function is typically learned in a nonparametric way, there is still a lack of theoretical understanding of how Huber regression estimators learn the conditional mean function and why it works in the absence of light-tailed noise assumptions. To address these fundamental questions, we conduct an assessment of Huber regression from a statistical learning viewpoint. First, we show that the usual risk consistency property of Huber regression estimators, which is usually pursued in machine learning, cannot guarantee their learnability in mean regression. Second, we argue that Huber regression should be implemented in an adaptive way to perform mean regression, implying that one needs to tune the scale parameter in accordance with the sample size and the moment condition of the noise. Third, with an adaptive choice of the scale parameter, we demonstrate that Huber regression estimators can be asymptotic mean regression calibrated under $(1+ε)$-moment conditions ($ε>0$). Last but not least, under the same moment conditions, we establish almost sure convergence rates for Huber regression estimators. Note that the $(1+ε)$-moment conditions accommodate the special case where the response variable possesses infinite variance and so the established convergence rates justify the robustness feature of Huber regression estimators. In the above senses, the present study provides a systematic statistical learning assessment of Huber regression estimators and justifies their merits in terms of robustness from a theoretical viewpoint.

研究动机与目标

• 为解决在非参数统计学习设定下对Huber回归理论理解的不足，特别是其在弱矩条件下的条件均值函数估计能力。
• 探究Huber估计量的风险一致性是否意味着在均值回归中具有可学习性，尤其是在噪声分布为重尾的情况下。
• 确定Huber损失尺度参数σ的最优调优策略，以在均值回归中平衡偏差与鲁棒性。
• 在最小矩假设下建立Huber回归估计量的几乎必然收敛速率。
• 通过证明其在(1+ε)-阶矩条件（ε > 0）下，包括无限方差情形下的有效性，从统计学习角度证明Huber回归的鲁棒性。

提出的方法

• 通过经验风险最小化（ERM）方法分析Huber回归，采用基于尺度参数σ的Huber损失函数ℓσ(t)，其行为根据σ在二次与线性之间切换。
• 提出一种自适应的σ选择方法，其依赖于样本大小n和噪声分布的矩条件，以确保偏差控制与可学习性。
• 采用一般假设空间H ⊂ C(X)，并使用泛化误差Rσ(f) = E[ℓσ(Y − f(X))]来评估学习性能。
• 应用浓度不等式与偏差界，推导出估计量f_z,σ与真实条件均值f*之间L2误差的高概率上界。
• 采用标准Bernstein条件的松弛形式以适应更重的尾部，从而在(1+ε)-阶矩条件下推导出快速收敛速率。
• 使用链式论证与度量熵技术控制假设空间的复杂度，并以逼近误差与尺度参数表示收敛速率。

实验结果

研究问题

• RQ1 Huber回归估计量在Rσ意义下的风险一致性是否足以保证其收敛于真实条件均值函数f*？
• RQ2 为确保均值回归函数的一致估计，Huber损失尺度参数σ的最优调优策略是什么？
• RQ3 在弱矩条件（如噪声的(1+ε)-阶矩条件，ε > 0）下，Huber回归估计量能否实现快速收敛速率？
• RQ4 Huber回归对重尾噪声分布（包括无限方差情形）是否具有鲁棒性？其鲁棒性能否在统计学习框架下得到理论证明？
• RQ5 在非参数学习设定下，Huber回归中的偏差、方差与鲁棒性之间的相互作用如何体现？

主要发现

• 在Rσ意义下，Huber回归估计量的风险一致性不足以保证其收敛于真实条件均值函数f*。
• Huber回归必须通过自适应方式实现，即σ需根据样本大小和噪声矩条件进行调优，以确保均值回归中的可学习性。
• 在(1+ε)-阶矩条件（ε > 0）下，即使响应变量具有无限方差，Huber回归估计量仍可实现渐近均值回归校准。
• 通过自适应选择σ，本文建立了Huber回归估计量的几乎必然收敛速率，且对重尾噪声具有鲁棒性。
• 与经典假设相比，收敛速率的推导条件更为宽松，表明Huber回归在弱矩条件下仍能保持快速学习速率。
• 理论框架从非参数设定下证明了Huber回归的鲁棒性，表明当传统最小二乘方法因重尾误差而失效时，Huber回归依然有效。