[论文解读] Adaptive Huber Regression: Optimality and Phase Transition

Qiang Sun, Wen‐Xin Zhou+1 more|arXiv (Cornell University)|Jun 21, 2017

Statistical Methods and Inference被引用 9

一句话总结

本文提出自适应Huber回归，通过根据样本量、维度和矩条件调整鲁棒化参数，实现偏差与鲁棒性之间的最优权衡。在仅假设存在(1+δ)-阶矩的条件下，建立了尖锐的相变现象：当δ ≥ 1时，偏差界具有次高斯型行为；当0 < δ < 1时，收敛速率较慢，但依然最优，从而在重尾分布设定下实现鲁棒估计。

ABSTRACT

Big data can easily be contaminated by outliers or contain variables with heavy-tailed distributions, which makes many conventional methods inadequate. To address this challenge, we propose the adaptive Huber regression for robust estimation and inference. The key observation is that the robustification parameter should adapt to the sample size, dimension and moments for optimal tradeoff between bias and robustness. Our theoretical framework deals with heavy-tailed distributions with bounded $(1+\delta)$-th moment for any $\delta > 0$. We establish a sharp phase transition for robust estimation of regression parameters in both low and high dimensions: when $\delta \geq 1$, the estimator admits a sub-Gaussian-type deviation bound without sub-Gaussian assumptions on the data, while only a slower rate is available in the regime $0<\delta< 1$. Furthermore, this transition is smooth and optimal. In addition, we extend the methodology to allow both heavy-tailed predictors and observation noise. Simulation studies lend further support to the theory. In a genetic study of cancer cell lines that exhibit heavy-tailedness, the proposed methods are shown to be more robust and predictive.

研究动机与目标

• 解决传统方法在高维和重尾数据设定下失效时的鲁棒估计问题。
• 开发一种基于样本量、维度和矩结构自适应调节Huber损失参数的方法。
• 在最小矩假设下建立估计与推断的理论保证，具体为对δ > 0，要求误差分布的(1+δ)-阶矩有界。
• 将框架扩展至同时处理重尾设计矩阵和重尾误差分布的情形。
• 通过模拟实验和一项关于癌细胞系的真实世界遗传学研究，展示方法的实证优越性。

提出的方法

• 提出一种自适应Huber回归估计器，其中鲁棒化参数基于样本量n、维度p以及误差分布的(1+δ)-阶矩进行调节。
• 引入一种基于数据的Huber损失调参方法，以最优方式平衡偏差与鲁棒性。
• 通过一种新颖的分析框架，建立估计误差的理论界，充分考虑n、p与δ之间的相互作用。
• 推导出偏差界，当δ ≥ 1时，即使在无次高斯假设下，也能实现次高斯型尾部行为。
• 通过修改损失函数和估计程序，将方法扩展至处理重尾设计矩阵和重尾误差。
• 采用一种鲁棒的推断框架，在弱矩条件下仍保持有效性。

实验结果

研究问题

• RQ1 在重尾误差的高维回归中，Huber损失参数的最优调参策略是什么？
• RQ2 Huber回归的估计性能如何依赖于误差分布的矩结构，特别是(1+δ)-阶矩？
• RQ3 是否可以在不假设次高斯性的条件下实现次高斯型偏差界？在何种条件下可以实现？
• RQ4 当预测变量和误差均为重尾时，该方法的性能如何？
• RQ5 当δ在区间(0,1)与[1,∞)之间变化时，估计精度的相变行为如何？

主要发现

• 当δ ≥ 1时，自适应Huber估计器在无需数据满足次高斯性假设的前提下，实现了次高斯型偏差界。
• 当0 < δ < 1时，估计器在(1+δ)-阶矩条件下实现了较慢但依然最优的收敛速率。
• 两种模式之间的相变是尖锐且平滑的，表明在δ = 1处统计行为发生明显转变。
• 该方法在预测变量和误差项均为重尾时仍保持鲁棒且有效，经模拟实验和真实数据验证。
• 在一项关于重尾响应变量的癌细胞系遗传学研究中，所提方法在预测性能和鲁棒性方面均优于传统方法。
• Huber参数的自适应调节显著提升了有限样本性能，并实现了偏差与鲁棒性之间的更好平衡。