[论文解读] Deep Quantile Regression: Mitigating the Curse of Dimensionality Through Composition

Guohao Shen, Yuling Jiao+3 more|arXiv (Cornell University)|Jul 10, 2021

Neural Networks and Applications参考文献 63被引用 10

一句话总结

本文提出深度分位数回归（DQR），一种基于深度神经网络的非参数分位数回归方法，假设条件分位数函数具有组合结构。通过利用低维分量函数，DQR 在对数因子范围内实现了最优收敛速率，其误差界对环境维度呈线性或二次依赖，而非指数依赖，从而缓解了维度灾难。

ABSTRACT

This paper considers the problem of nonparametric quantile regression under the assumption that the target conditional quantile function is a composition of a sequence of low-dimensional functions. We study the nonparametric quantile regression estimator using deep neural networks to approximate the target conditional quantile function. For convenience, we shall refer to such an estimator as a deep quantile regression (DQR) estimator. We show that the DQR estimator achieves the nonparametric optimal convergence rate up to a logarithmic factor determined by the intrinsic dimension of the underlying compositional structure of the conditional quantile function, not the ambient dimension of the predictor. Therefore, DQR is able to mitigate the curse of dimensionality under the assumption that the conditional quantile function has a compositional structure. To establish these results, we analyze the approximation error of a composite function by neural networks and show that the error rate only depends on the dimensions of the component functions. We apply our general results to several important statistical models often used in mitigating the curse of dimensionality, including the single index, the additive, the projection pursuit, the univariate composite, and the generalized hierarchical interaction models. We explicitly describe the prefactors in the error bounds in terms of the dimensionality of the data and show that the prefactors depends on the dimensionality linearly or quadratically in these models. We also conduct extensive numerical experiments to evaluate the effectiveness of DQR and demonstrate that it outperforms a kernel-based method for nonparametric quantile regression.

研究动机与目标

• 通过假设目标条件分位数函数具有组合结构，解决非参数分位数回归中的维度灾难问题。
• 开发一种基于深度神经网络的估计器（DQR），使其适应函数的内在维度，而非环境预测变量维度。
• 为DQR建立具有显式依赖关系的非渐近误差界，包括网络深度、宽度和内在维度。
• 证明DQR在非线性设定下显著优于基于核的方法和传统的线性分位数回归。

提出的方法

• 将条件分位数函数建模为低维函数的复合形式，以降低有效维度。
• 使用深度神经网络近似复合分位数函数，利用其对组合结构的逼近能力。
• 分析神经网络对复合函数的逼近误差，表明误差率仅依赖于分量函数的维度。
• 推导DQR的非渐近超额风险和均方误差界，其前因子对环境维度d呈多项式依赖。
• 将通用误差界应用于具体模型：单 index 模型、可加模型、投影寻踪模型、一维复合模型及广义层次交互模型。
• 显式刻画误差界前因子对环境维度d的线性或二次依赖关系，避免经典非参数方法中常见的指数依赖。

实验结果

研究问题

• RQ1 深度神经网络能否有效逼近由低维函数复合而成的条件分位数函数？
• RQ2 当真实分位数函数具有组合结构时，深度分位数回归估计器是否能实现最优收敛速率？
• RQ3 DQR的误差界如何依赖于网络架构（深度、宽度）及组合结构的内在维度？
• RQ4 与经典非参数分位数回归方法相比，DQR能否显著缓解维度灾难？
• RQ5 在组合结构假设下，对已知的半参数模型，误差界中的前因子具有何种显式形式？

主要发现

• DQR估计器在对数因子范围内实现了非参数最优收敛速率，其速率由组合结构的内在维度决定，而非环境维度。
• 复合函数由深度神经网络近似时的逼近误差仅依赖于分量函数的维度，而不依赖于整体输入维度。
• DQR的误差界前因子对环境维度d呈线性或二次依赖，避免了经典方法中常见的指数依赖。
• 在数值实验中，DQR在拟合非线性分位数函数方面优于基于核的非参数分位数回归和线性分位数回归。
• 为五类重要模型（单 index 模型、可加模型、投影寻踪模型、一维复合模型及广义层次交互模型）推导出显式误差界，显示其对d呈多项式依赖。
• 结果表明，深度神经网络在组合结构假设下，能有效缓解非参数分位数回归中的维度灾难。