[论文解读] Estimation of a function of low local dimensionality by deep neural networks

Michael Köhler, Adam Krzyżak+1 more|arXiv (Cornell University)|Aug 29, 2019

Statistical Methods and Inference被引用 4

一句话总结

本文表明，通过利用高维数据中的局部低维结构，深度神经网络（DNNs）可在非参数回归中实现最优收敛速率。通过构建一种自适应局部维度 $d^*$ 的DNN估计器，作者证明收敛速率为 $n^{-2p/(2p+d^*)}$，当 $d^* \ll d$ 时，可有效规避维度灾难。该方法采用B样条实现分段多项式逼近，并结合分层划分，以建模具有局部低维依赖关系的函数。

ABSTRACT

Deep neural networks (DNNs) achieve impressive results for complicated tasks like object detection on images and speech recognition. Motivated by this practical success, there is now a strong interest in showing good theoretical properties of DNNs. To describe for which tasks DNNs perform well and when they fail, it is a key challenge to understand their performance. The aim of this paper is to contribute to the current statistical theory of DNNs. We apply DNNs on high dimensional data and we show that the least squares regression estimates using DNNs are able to achieve dimensionality reduction in case that the regression function has locally low dimensionality. Consequently, the rate of convergence of the estimate does not depend on its input dimension $d$, but on its local dimension $d^*$ and the DNNs are able to circumvent the curse of dimensionality in case that $d^*$ is much smaller than $d$. In our simulation study we provide numerical experiments to support our theoretical result and we compare our estimate with other conventional nonparametric regression estimates. The performance of our estimates is also validated in experiments with real data.

研究动机与目标

• 开发一个理论框架，解释为何深度神经网络在具有局部低维结构的高维数据上表现良好。
• 通过利用局部维度 $d^*$ 而非全局输入维度 $d$，解决非参数回归中的维度灾难挑战。
• 证明当回归函数具有局部低维结构时，DNN可实现最优收敛速率 $n^{-2p/(2p+d^*)}$。
• 为DNN在图像识别和语音识别等任务中的经验成功提供理论依据，这些任务中的数据通常表现出局部低维流形结构。

提出的方法

• 该方法使用B样条基函数实现的分段多项式逼近，构建基于DNN的回归估计器。
• 通过将输入空间分层划分为局部区域，使得回归函数仅依赖于最多 $d^*$ 个变量，从而利用局部低维结构。
• 采用截断B样条基函数 $B_{k,j}^{(trunc)}$ 表示局部区域的指示函数，实现分段逼近。
• 每个局部分量 $f_k(x_{J_k})$ 在 $d^*$-维子空间上使用张量积B样条 $B_{{\mathbf{j}},M,{\mathbf{t}}}$ 进行逼近。
• 最终的DNN估计器是这些基函数的线性组合，其系数 $\gamma_j$ 选择为最小化 $L_2$ 误差。
• 该构造确保参数数量随 $n^{d^*/(2p + d^*)}$ 增长，从而实现最优收敛速率。

实验结果

研究问题

• RQ1 当底层函数具有局部低维结构而非全局光滑性时，深度神经网络是否可在非参数回归中实现最优收敛速率？
• RQ2 当 $d^* \ll d$ 时，DNN中使用局部自适应基函数是否可实现规避维度灾难？
• RQ3 在局部低维假设下，DNN估计器的理论收敛速率是多少？
• RQ4 DNN估计器的逼近误差如何依赖于局部维度 $d^*$ 和光滑性 $p$？
• RQ5 在具有稀疏局部结构的高维设置下，该方法是否可优于经典非参数估计器？

主要发现

• 基于DNN的回归估计器实现了 $n^{-2p/(2p + d^*)}$ 的收敛速率，该速率仅依赖于局部维度 $d^*$ 而非全局输入维度 $d$，从而避免了维度灾难。
• 该速率在对数因子范围内为最优，与 $d^*$-维流形上 $(p,C)$-光滑函数的极小极大下界一致。
• 该方法使用 $J \sim 2^{K_1} \cdot K_2 \cdot n^{d^*/(2p + d^*)}$ 个基函数构建DNN，其系数以局部分量的上范数为界。
• 逼近误差被限制为 $c_{46} \cdot K_2 \cdot n^{-p/(2p + d^*)}$，当 $K_1$ 和 $K_2$ 适切选择时，该误差随 $n$ 增大而衰减。
• 估计器的 $L_2$ 风险被限制为 $c_{50} \cdot 2^{K_1} \cdot K_2 \cdot n^{-2p/(2p + d^*)}$，证实该速率在给定假设下可实现。
• 数值实验与真实数据验证表明，DNN估计器在高维、局部低维设置下优于传统非参数方法。