[论文解读] Deep ReLU network approximation of functions on a manifold

Johannes Schmidt-Hieber|arXiv (Cornell University)|Aug 2, 2019

Neural Networks and Applications参考文献 27被引用 53

一句话总结

论文显示稀疎连接的深度 ReLU 网络能够近似定义在高维嵌入空间中的 d*-维流形上的 Hölder 函数，在误差 ε 下需要 O(ε^{-d*/β} log(1/ε)) 个非零参数，并推导出在此类网络上的 ERM 的统计风险界限。

ABSTRACT

Whereas recovery of the manifold from data is a well-studied topic, approximation rates for functions defined on manifolds are less known. In this work, we study a regression problem with inputs on a $d^*$-dimensional manifold that is embedded into a space with potentially much larger ambient dimension. It is shown that sparsely connected deep ReLU networks can approximate a Hölder function with smoothness index $β$ up to error $ε$ using of the order of $ε^{-d^*/β}\log(1/ε)$ many non-zero network parameters. As an application, we derive statistical convergence rates for the estimator minimizing the empirical risk over all possible choices of bounded network parameters.

研究动机与目标

• 在输入位于嵌入在高维空间中的未知 d*-维流形上时，激发对函数逼近的研究动机。
• 开发利用流形结构的深度 ReLU 网络构造，以实现有利的逼近速率。
• 建立明确的参数数量界限和误差率，将 ε、d*、β 与对数因子联系起来。
• 推导在流形回归设定下，对稀疏连接的深度 ReLU 网络的 ERM 的统计风险界限。

提出的方法

• 定义带有有界权重和稀疏连接的深度 ReLU 网络。
• 开发利用分区的分解（partition of unity）和流形上的局部坐标近似的网络构造。
• 使用光滑的局部坐标和泰勒型近似来构建局部网络；通过网络组合规则（包括通过 ReLU 的性质实现跳跃/恒等）将它们结合起来。
• 证明在紧凑流形上具有光滑局部坐标的 Hölder 函数的近似界，从而给出以ε^{-d*/β} 为阶的速率（带对数项）。
• 证明在不损失近似质量的前提下，所有网络参数都可以被控制在一个上界之内（有界参数域）。
• 将近似误差转化为对网络类的经验风险最小化的统计风险界限（oracle-type inequality）。

实验结果

研究问题

• RQ1 当输入位于流形上时，稀疏连接的深度 ReLU 网络是否能够以 ε^{-d*/β} 的速率（带对数因子）近似定义在 d*-维流形上的 Hölder 函数？
• RQ2 在流形上实现 ε-近似需要多少个非零网络参数，权重是否可以被约束在一个之内？
• RQ3 当数据位于未知流形上时，这类网络类的 ERM 的统计风险意味着什么？
• RQ4 如何将局部坐标图和单位分割整合到深度网络中，以利用流形结构实现更优的近似？

主要发现

• 在具有光滑局部坐标的紧凑 d*-维流形上，通过稀疏连接的 ReLU 网络可以实现 ε-近似，且使用 O(ε^{-d*/β} log(1/ε)) 个非零参数。
• 该构造从局部坐标图、分区窗口和乘法网络出发，通过网络组合规则进行组合。
• 所有网络权重的绝对值均可选取为一个，符合实际初始化和训练约束。
• 对于在流形上输入的回归问题，网络类上的经验风险最小化在合适的深度 L 与参数稀疏度 s 的条件下，预测风险达到 n^{-2β/(2β+d*)} 的阶（带多对数因子）。
• 结果将几何流形结构（维度 d*）与逼近和统计速率联系起来，凸显利用光滑坐标图的好处。