[论文解读] Robustness of shape-restricted regression estimators: an envelope perspective

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|May 7, 2018

Statistical Methods and Inference参考文献 36被引用 7

一句话总结

本文在误差的最小 $L_{2,1}$ 矩条件假设下，引入包络视角以表征形状受限最小二乘估计量（LSEs）的鲁棒性。在随机设计设定下建立了Oracle不等式，证明即使在模型错误设定的加法模型中，LSE的鲁棒性与自适应性质也得以保持，仅受 $L_{2,1}$-矩误差的影响。

ABSTRACT

Classical least squares estimators are well-known to be robust with respect to moment assumptions concerning the error distribution in a wide variety of finite-dimensional statistical problems; generally only a second moment assumption is required for least squares estimators to maintain the same rate of convergence that they would satisfy if the errors were assumed to be Gaussian. In this paper, we give a geometric characterization of the robustness of shape-restricted least squares estimators (LSEs) to error distributions with an $L_{2,1}$ moment, in terms of the `localized envelopes' of the model. This envelope perspective gives a systematic approach to proving oracle inequalities for the LSEs in shape-restricted regression problems in the random design setting, under a minimal $L_{2,1}$ moment assumption on the errors. The canonical isotonic and convex regression models, and a more challenging additive regression model with shape constraints are studied in detail. Strikingly enough, in the additive model both the adaptation and robustness properties of the LSE can be preserved, up to error distributions with an $L_{2,1}$ moment, for estimating the shape-constrained proxy of the marginal $L_2$ projection of the true regression function. This holds essentially regardless of whether or not the additive model structure is correctly specified. The new envelope perspective goes beyond shape constrained models. Indeed, at a general level, the localized envelopes give a sharp characterization of the convergence rate of the $L_2$ loss of the LSE between the worst-case rate as suggested by the recent work of the authors [25], and the best possible parametric rate.

研究动机与目标

• 开发一种几何框架，用于分析形状受限LSE对重尾误差分布的鲁棒性。
• 在最小矩条件假设下，建立随机设计设定中LSE的Oracle不等式，特别针对 $L_{2,1}$-矩误差。
• 研究当模型错误设定时，LSE的自适应性与鲁棒性是否在具有形状约束的加法模型中依然成立。
• 将鲁棒性与自适应性形式化为LSE的两个独立属性：鲁棒性通过误差矩条件定义，自适应性通过光滑性下的收敛速率定义。
• 通过局部化包络，对LSE的 $L_2$ 损失收敛速率进行精确刻画，其速率介于最坏情况速率与参数速率之间。

提出的方法

• 引入‘局部化包络’的概念，作为分析形状受限模型中LSE行为的几何工具。
• 利用基于包络的论证方法，推导出序性回归与凸回归的Oracle不等式，以及具有形状约束的加法模型的Oracle不等式。
• 应用大数定律与尾部概率界，控制紧区间上估计量的上确界与下确界。
• 通过最小二乘性质使用反证法：若估计量偏离过大，则经验风险必超过次优模型的经验风险。
• 通过将经验风险与常数模型进行比较，证明估计量在紧集上几乎必然有界。
• 通过反证法与矩控制，证明在 $L_{2,1}$-矩误差下，估计量在概率上保持一致有界。

实验结果

研究问题

• RQ1 是否可以在仅假设误差具有 $L_{2,1}$-矩的条件下，表征形状受限LSE的鲁棒性，而非依赖于次高斯或次指数尾部？
• RQ2 在模型错误设定的情况下，LSE的自适应性与鲁棒性在具有形状约束的加法模型中在多大程度上仍能保持？
• RQ3 局部化包络如何为LSE的 $L_2$ 损失收敛速率提供精确刻画，从而弥合最坏情况速率与参数速率之间的差距？
• RQ4 包络视角能否推广至形状受限模型之外，以刻画更广泛非参数模型中LSE的收敛速率？
• RQ5 模型复杂度（通过熵条件衡量）与维持与高斯误差下相同收敛速率所需的误差矩条件之间，存在何种精确关系？

主要发现

• 在形状受限回归中，LSE具有 $L_{2,1}$-鲁棒性：只要模型满足指数 $\beta \neq 2$ 的熵条件，其在 $L_{2,1}$-矩误差下的收敛速率与在次高斯误差下的收敛速率相同。
• 对于序性回归与凸回归，LSE的 $L_2$ 损失在仅假设误差具有二阶矩时，收敛速率为 $\tilde{O}(n^{-1/3})$，与最坏情况下的极小极大速率一致。
• 在具有形状约束的加法模型中，即使加法结构错误设定，LSE仍能自适应于真实信号，其收敛目标为真实函数在形状约束代理空间上的 $L_2$-投影。
• 局部化包络框架为LSE的 $L_2$ 损失速率提供了精确刻画，其速率介于最坏情况速率 $\tilde{O}(n^{-1/(2+\beta)})$ 与参数速率 $\tilde{O}(n^{-1/2})$ 之间，具体取决于模型复杂度与误差矩。
• 以概率1，估计量在紧集上保持一致有界，即使在 $L_{2,1}$-矩误差下，通过与常数模型比较控制经验风险。
• 包络方法证明，当真实信号有界时，估计量在该区域不可能发散，因为此类发散将违反最小二乘性质。