[论文解读] A sharp multiplier inequality with applications to heavy-tailed regression problems

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|Jun 7, 2017

Statistical Methods and Inference被引用 5

一句话总结

本文在重尾误差（p阶矩，p ≥ 1）的非参数回归中建立了最小二乘估计量（LSE）的精确收敛速率，证明在熵条件指数α ∈ (0,2)下，收敛速率为O_P(n^{-(1/(2+α))} ∨ n^{-(1/2)+(1/(2p))})。当p ≥ 1 + 2/α时，该速率与高斯误差下的表现相当；但当p < 1 + 2/α时，其速率慢于鲁棒估计量，且该速率对误差与协变量独立性的假设极为敏感。

ABSTRACT

We study the performance of the Least Squares Estimator (LSE) in a general nonparametric regression model, when the errors are independent of the covariates but may only have a $p$-th moment ($p\geq 1$). In such a heavy-tailed regression setting, we show that if the model satisfies a standard `entropy condition' with exponent $\alpha \in (0,2)$, then the $L_2$ loss of the LSE converges at a rate \begin{align*} \mathcal{O}_{\mathbf{P}}\big(n^{-\frac{1}{2+\alpha}} \vee n^{-\frac{1}{2}+\frac{1}{2p}}\big). \end{align*} Such a rate cannot be improved under the entropy condition alone. This rate quantifies both some positive and negative aspects of the LSE in a heavy-tailed regression setting. On the positive side, as long as the errors have $p\geq 1+2/\alpha$ moments, the $L_2$ loss of the LSE converges at the same rate as if the errors are Gaussian. On the negative side, if $p<1+2/\alpha$, there are (many) hard models at any entropy level $\alpha$ for which the $L_2$ loss of the LSE converges at a strictly slower rate than other robust estimators. The validity of the above rate relies crucially on the independence of the covariates and the errors. In fact, the $L_2$ loss of the LSE can converge arbitrarily slowly when the independence fails. The key technical ingredient is a new multiplier inequality that gives sharp bounds for the `multiplier empirical process' associated with the LSE. We further give an application to the sparse linear regression model with heavy-tailed covariates and errors to demonstrate the scope of this new inequality.

研究动机与目标

• 分析在误差仅具有p阶矩（p ≥ 1）而非次高斯或次指数尾部时，最小二乘估计量（LSE）在非参数回归中的性能。
• 在标准熵条件（指数α ∈ (0,2)）下，建立LSE的L2损失的精确收敛速率。
• 阐明LSE在何种条件下可达到与高斯误差下相当的最优速率，以及在何种条件下会被鲁棒估计量超越。
• 证明所推导速率对误差与协变量独立性假设的必要性，表明若该假设不成立，可能导致收敛速度任意缓慢。

提出的方法

• 推导一个新的精确乘子不等式，以控制与LSE相关的乘子经验过程，这是分析重尾下L2风险的关键技术工具。
• 利用指数α ∈ (0,2)的熵条件来控制非参数回归模型中函数类的复杂度。
• 通过将风险分解为偏差与方差两部分来分析LSE的L2损失，其中方差项通过新乘子不等式加以控制。
• 建立极小极大下界，以证明在仅依赖熵条件时，所推导的速率无法进一步改进。
• 将主不等式应用于具有重尾协变量与误差的稀疏线性回归模型，以展示其实际适用范围与鲁棒性。

实验结果

研究问题

• RQ1 在何种条件下，LSE在重尾回归设定下可达到与高斯误差下相同的收敛速率？
• RQ2 误差分布的矩数p如何影响LSE相对于鲁棒估计量的收敛速率？
• RQ3 指数α的熵条件在决定LSE的L2风险速率中起何种作用？
• RQ4 LSE的收敛速率对误差与协变量独立性假设的敏感性如何？
• RQ5 该新型乘子不等式能否有效应用于具有重尾噪声的高维或稀疏回归模型？

主要发现

• 在指数α ∈ (0,2)的熵条件下，LSE的L2损失收敛速率为O_P(n^{-(1/(2+α))} ∨ n^{-(1/2)+(1/(2p))})，该速率是精确的，且仅在该条件下无法进一步改进。
• 当p ≥ 1 + 2/α时，LSE达到与高斯误差下相同的收敛速率，表明在此参数范围内对重尾具有鲁棒性。
• 当p < 1 + 2/α时，存在任意熵水平α的模型，使得LSE的收敛速度严格慢于鲁棒估计量，凸显其根本性局限。
• 若误差与协变量的独立性假设不成立，则所推导的速率无效，因为此时L2损失可能收敛至任意缓慢。
• 新型乘子不等式为分析重尾设定下的LSE提供了强大工具，并成功应用于具有重尾协变量与误差的稀疏线性回归模型。