[论文解读] Nonparametric Regression on Low-Dimensional Manifolds using Deep ReLU Networks

Minshuo Chen, Haoming Jiang+2 more|arXiv (Cornell University)|Aug 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 10

一句话总结

本文提出一种用于高维空间中低维流形上 Hölder 函数非参数回归的深度 ReLU 网络架构。证明了均方误差的收敛速率为 $ n^{-rac{2(s+eta)}{2(s+eta) + d}} ext{log}^3 n $，表明深度网络能够适应数据的内在维度 $ d $，即使在环境维度 $ D $ 较大时也能实现快速收敛。

ABSTRACT

Real world data often exhibit low-dimensional geometric structures, and can be viewed as samples near a low-dimensional manifold. This paper studies nonparametric regression of H\older functions on low-dimensional manifolds using deep ReLU networks. Suppose $n$ training data are sampled from a H\older function in $\mathcal{H}^{s,\alpha}$ supported on a $d$-dimensional Riemannian manifold isometrically embedded in $\mathbb{R}^D$, with sub-gaussian noise. A deep ReLU network architecture is designed to estimate the underlying function from the training data. The mean squared error of the empirical estimator is proved to converge in the order of $n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n$. This result shows that deep ReLU networks give rise to a fast convergence rate depending on the data intrinsic dimension $d$, which is usually much smaller than the ambient dimension $D$. It therefore demonstrates the adaptivity of deep ReLU networks to low-dimensional geometric structures of data, and partially explains the power of deep ReLU networks in tackling high-dimensional data with low-dimensional geometric structures.

研究动机与目标

• 研究使用深度 ReLU 网络对低维流形上的 Hölder 函数进行非参数回归。
• 分析当数据位于高维空间中低维黎曼流形附近时，深度网络的泛化误差。
• 证明深度 ReLU 网络能够适应内在维度 $ d $，在环境维度较高时收敛速度优于经典方法。
• 为深度网络在具有低维几何结构的高维数据上的经验成功提供理论依据。

提出的方法

• 设计一种专用于低维流形上回归的深度 ReLU 网络架构。
• 使用深度和宽度根据 Hölder 函数的光滑度 $ s+\alpha $ 和流形的内在维度 $ d $ 进行缩放的网络。
• 通过利用流形的几何结构来构建网络，以逼近潜在的 Hölder 函数。
• 在训练样本中采用依赖于数据的自适应经验风险最小化框架，且噪声服从次高斯分布。
• 利用流形上的逼近理论与统计学习工具证明收敛速率。
• 通过引入对数因子 $ \log^3 n $ 建立误差界，以反映流形嵌入的复杂性。

实验结果

研究问题

• RQ1 深度 ReLU 网络是否能在高维空间中嵌入的低维流形上实现非参数回归的快速收敛速率？
• RQ2 深度 ReLU 网络的收敛速率如何依赖于内在维度 $ d $ 而非环境维度 $ D $？
• RQ3 深度 ReLU 网络在多大程度上能够适应具有低内在维度的数据的几何结构？
• RQ4 在此设置下，深度 ReLU 网络的最优收敛速率是多少？是否优于经典非参数方法？
• RQ5 次高斯噪声的存在如何影响深度 ReLU 网络在流形结构数据上的泛化性能？

主要发现

• 经验估计器的均方误差以速率 $ n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n $ 收敛，该速率依赖于内在维度 $ d $ 而非环境维度 $ D $。
• 当内在维度 $ d $ 较小时，收敛速率显著提升，即使环境维度 $ D $ 很大亦然。
• 理论速率表明，深度 ReLU 网络能够适应数据中的低维几何结构，解释了其在高维设置下的经验成功。
• 对数因子 $ \log^3 n $ 捕捉了流形嵌入的复杂性以及网络的逼近能力。
• 该结果在一定程度上解释了为何深度网络在低内在维数的高维数据上泛化性能良好。
• 该分析为深度 ReLU 网络在流形结构非参数回归中的有效性提供了理论基础。