[论文解读] Robust Nonparametric Regression with Deep Neural Networks

Guohao Shen, Yuling Jiao+2 more|arXiv (Cornell University)|Jul 21, 2021

Statistical Methods and Inference参考文献 60被引用 6

一句话总结

该论文提出使用带ReLU激活函数的深度神经网络进行鲁棒非参数回归，采用Huber、Cauchy和Tukey等损失函数以处理重尾误差。在仅要求误差具有有限$p$-阶矩（$p>1$）的最小假设下，建立了非渐近误差界，并表明当网络规模为$O(d^2)$时，过量风险随维度$d$呈次线性增长，从而在近似低维流形上实现了对维度灾难的规避。

ABSTRACT

In this paper, we study the properties of robust nonparametric estimation using deep neural networks for regression models with heavy tailed error distributions. We establish the non-asymptotic error bounds for a class of robust nonparametric regression estimators using deep neural networks with ReLU activation under suitable smoothness conditions on the regression function and mild conditions on the error term. In particular, we only assume that the error distribution has a finite p-th moment with p greater than one. We also show that the deep robust regression estimators are able to circumvent the curse of dimensionality when the distribution of the predictor is supported on an approximate lower-dimensional set. An important feature of our error bound is that, for ReLU neural networks with network width and network size (number of parameters) no more than the order of the square of the dimensionality d of the predictor, our excess risk bounds depend sub-linearly on d. Our assumption relaxes the exact manifold support assumption, which could be restrictive and unrealistic in practice. We also relax several crucial assumptions on the data distribution, the target regression function and the neural networks required in the recent literature. Our simulation studies demonstrate that the robust methods can significantly outperform the least squares method when the errors have heavy-tailed distributions and illustrate that the choice of loss function is important in the context of deep nonparametric regression.

研究动机与目标

• 开发基于深度神经网络的鲁棒非参数回归方法，以应对真实世界数据中常见的重尾误差分布。
• 在误差矩和数据分布假设最小化的前提下，为深度神经网络估计器建立非渐近误差界。
• 证明当预测变量位于或接近低维流形时，深度鲁棒回归可规避维度灾难。
• 放宽先前文献中的严格假设，如误差的有界性或次高斯性，以及对精确流形支撑的依赖。
• 通过实证结果表明，鲁棒损失函数（如Huber、Cauchy）在重尾设定下显著优于最小二乘法。

提出的方法

• 使用带ReLU激活函数的深度神经网络来估计非参数回归函数。
• 采用鲁棒损失函数（LAD、Huber、Cauchy、Tukey）而非最小二乘法，以降低对重尾误差的敏感性。
• 在误差具有有限$p$-阶矩（$p>1$）的假设下，推导出非渐近过量风险界，放宽了对次高斯或有界误差的假设。
• 分析网络宽度和规模（参数数量）对误差界的影响，表明当网络规模为$O(d^2)$时，误差界对维度$d$呈次线性依赖。
• 依赖真实回归函数的光滑性条件以及对预测变量分布的温和结构假设，包括近似低维支撑。
• 应用带鲁棒损失的经验风险最小化，结合浓度不等式和神经网络逼近理论，推导泛化误差界。

实验结果

研究问题

• RQ1 基于深度神经网络的非参数回归能否在不假设误差服从次高斯或有界分布的前提下，实现对重尾误差的鲁棒性？
• RQ2 当预测变量位于或接近低维流形时，深度鲁棒回归估计器在何种条件下可规避维度灾难？
• RQ3 在高维设定下，网络宽度和规模如何影响鲁棒深度回归中的非渐近误差界？
• RQ4 在具有重尾误差的非参数回归中，不同鲁棒损失函数（如Huber、Cauchy、Tukey）相较于最小二乘法的相对性能如何？
• RQ5 在保持理论保证的前提下，对数据分布、回归函数光滑性及神经网络架构的假设可在多大程度上放宽？

主要发现

• 当网络规模为$O(d^2)$时，所提出的鲁棒深度回归估计器实现了对预测维度$d$呈次线性依赖的非渐近过量风险界，从而实现了有效的维度控制。
• 当预测变量分布支持于近似低维集合时，该方法成功规避了维度灾难，即使不依赖于精确的流形结构。
• 对于宽度和规模均不超过$O(d^2)$的ReLU网络，过量风险随$d$呈次线性增长，显著优于先前工作中线性或多项式依赖关系。
• 模拟结果表明，在受污染的正态分布和$t(2)$误差分布下，Huber、Cauchy和Tukey损失函数在测试过量风险方面显著优于最小二乘法。
• 最小二乘法在重尾误差下失效，而鲁棒方法保持稳定性能，其中Huber损失在测试的单变量模型中表现最佳。
• 理论框架放宽了近期文献中的关键假设，如响应有界或误差服从次高斯分布，仅要求误差具有有限$p$-阶矩（$p>1$）。