[论文解读] Efficient Approximation of Deep ReLU Networks for Functions on Low Dimensional Manifolds

Minshuo Chen, Haoming Jiang+2 more|arXiv (Cornell University)|Aug 5, 2019

Neural Networks and Applications被引用 16

一句话总结

本文提出了一种用于在高维空间中嵌入的低维流形上对 Hölder 函数进行非参数回归的深度 ReLU 网络架构。它证明了收敛速度为 $ n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n $，展示了对内在数据维数 $ d $ 的自适应性，该维数显著小于环境维数 $ D $，从而解释了深度网络在结构化高维数据上的高效性。

ABSTRACT

Real world data often exhibit low-dimensional geometric structures, and can be viewed as samples near a low-dimensional manifold. This paper studies nonparametric regression of Holder functions on low-dimensional manifolds using deep ReLU networks. Suppose $n$ training data are sampled from a Holder function in $\mathcal{H}^{s,\alpha}$ supported on a $d$-dimensional Riemannian manifold isometrically embedded in $\mathbb{R}^D$, with sub-gaussian noise. A deep ReLU network architecture is designed to estimate the underlying function from the training data. The mean squared error of the empirical estimator is proved to converge in the order of $n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n$. This result shows that deep ReLU networks give rise to a fast convergence rate depending on the data intrinsic dimension $d$, which is usually much smaller than the ambient dimension $D$. It therefore demonstrates the adaptivity of deep ReLU networks to low-dimensional geometric structures of data, and partially explains the power of deep ReLU networks in tackling high-dimensional data with low-dimensional geometric structures.

研究动机与目标

• 研究深度 ReLU 网络在低维流形上回归的逼近效率。
• 分析当数据位于 $ d $-维黎曼流形上并嵌入在 $ \mathbb{R}^D $ 中时，深度 ReLU 网络的一般化误差。
• 证明深度网络能够自适应于内在维数 $ d $，实现比经典方法更快的收敛速度。
• 为深度网络在具有低维几何结构的高维数据上的经验成功提供理论依据。

提出的方法

• 设计一种专为嵌入在 $ \mathbb{R}^D $ 中的 $ d $-维黎曼流形上的函数而定制的深度 ReLU 网络架构。
• 使用 ReLU 层的复合结构来逼近流形上属于 $ \mathcal{H}^{s,\alpha} $ 的 Hölder 连续函数。
• 利用 $ n $ 个训练样本和次高斯噪声构造经验风险最小化器。
• 应用几何与逼近论工具，以流形维数 $ d $ 表示一般化误差的上界。
• 利用流形的等距嵌入特性，在网络训练过程中保持局部几何结构。
• 推导出显式依赖于内在维数 $ d $ 而非环境维数 $ D $ 的收敛速率。

实验结果

研究问题

• RQ1 深度 ReLU 网络能否在低维流形上实现快速收敛速率？
• RQ2 深度 ReLU 网络的收敛速率如何依赖于内在维数 $ d $ 与环境维数 $ D $？
• RQ3 深度 ReLU 网络在多大程度上能够适应真实世界数据的几何结构？
• RQ4 深度 ReLU 网络对于流形上的 Hölder 函数所能达到的最优一般化误差速率是多少？

主要发现

• 经验估计器的均方误差以速率 $ n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n $ 收敛。
• 收敛速率依赖于内在维数 $ d $，而非环境维数 $ D $，而 $ D $ 通常大得多。
• 随着 $ d $ 减小，速率提升，表明对低维几何结构的自适应性。
• 该结果为深度 ReLU 网络在具有低维流形的高维数据中的有效性提供了理论支持。
• 分析中表明对数因子 $ \log^3 n $ 是必要的，尽管未必是紧的。