[论文解读] Besov Function Approximation and Binary Classification on Low-Dimensional Manifolds Using Convolutional Residual Networks

Hao Liu, Minshuo Chen+2 more|arXiv (Cornell University)|Sep 7, 2021

Computational Physics and Python Applications被引用 4

一句话总结

本文为卷积残差网络（ConvResNets）在逼近贝索夫函数以及在高维空间中嵌入的低维流形上执行二分类任务建立了理论保证。通过利用内在维数 $d$ 而非环境维数 $D$，作者证明了 ConvResNets 实现了 $n^{-\frac{s}{2s+2(s\vee d)}}$ 阶的过失风险，表明样本复杂度依赖于 $d$，并解释了深度学习在具有低维结构的高维数据上取得经验成功的原因。

ABSTRACT

Most of existing statistical theories on deep neural networks have sample complexities cursed by the data dimension and therefore cannot well explain the empirical success of deep learning on high-dimensional data. To bridge this gap, we propose to exploit low-dimensional geometric structures of the real world data sets. We establish theoretical guarantees of convolutional residual networks (ConvResNet) in terms of function approximation and statistical estimation for binary classification. Specifically, given the data lying on a $d$-dimensional manifold isometrically embedded in $\mathbb{R}^D$, we prove that if the network architecture is properly chosen, ConvResNets can (1) approximate Besov functions on manifolds with arbitrary accuracy, and (2) learn a classifier by minimizing the empirical logistic risk, which gives an excess risk in the order of $n^{-\frac{s}{2s+2(s\vee d)}}$, where $s$ is a smoothness parameter. This implies that the sample complexity depends on the intrinsic dimension $d$, instead of the data dimension $D$. Our results demonstrate that ConvResNets are adaptive to low-dimensional structures of data sets.

研究动机与目标

• 为解决深度学习在高维数据中经验成功与理论理解之间的差距。
• 解释为何在现有理论中存在维度灾难的情况下，深度学习仍能良好泛化。
• 为 ConvResNets 建立一个统计理论，以考虑真实世界数据中的低维几何结构。
• 建立依赖于内在维数 $d$ 而非环境维数 $D$ 的函数逼近和分类误差边界。

提出的方法

• 对嵌入在 $\mathbb{R}^D$ 中的 $d$-维流形上的 ConvResNet 架构（含跳跃连接和卷积层）进行理论分析。
• 使用贝索夫函数空间来建模真实数据中常见的不规则或非光滑函数。
• 通过残差块和卷积层构建深层网络 $\bar{f}_{\phi,n}$，以在流形上逼近目标函数。
• 通过逐层复杂度控制网络类的覆盖数，从而实现泛化误差控制。
• 通过逻辑损失的经验风险最小化推导过失风险边界，利用流形结构。
• 应用集中不等式和流形逼近理论以控制估计误差和逼近误差。

实验结果

研究问题

• RQ1 当架构选择得当时，ConvResNets 是否能在低维流形上以任意精度逼近任意贝索夫函数？
• RQ2 基于 ConvResNet 的二分类的样本复杂度是否依赖于内在维数 $d$ 而非环境维数 $D$？
• RQ3 能否以光滑参数 $s$ 和流形维数 $d$ 表示 ConvResNets 的泛化误差边界？
• RQ4 网络架构，特别是跳跃连接和卷积操作，如何促进在流形上的逼近与估计？
• RQ5 即使数据为高维，该理论过失风险边界是否对数据的内在几何结构具有自适应性？

主要发现

• 当架构选择得当时，ConvResNets 可以以任意精度逼近 $d$-维流形上的任意贝索夫函数。
• ConvResNet 在二分类任务中的过失风险量级为 $n^{-\frac{s}{2s+2(s\vee d)}}$，其中 $s$ 为光滑参数，$d$ 为内在维数。
• 样本复杂度依赖于内在维数 $d$ 而非环境维数 $D$，从而避免了维度灾难。
• 泛化误差边界通过网络类的覆盖数边界推导得出，其量级依赖于 $d$ 和 $s$，而非 $D$。
• 该理论表明，ConvResNets 对低维数据结构具有自适应性，解释了其在高维数据上的经验成功。
• 理论框架支持使用固定宽度网络与跳跃连接，以实现流形上高效且精确的学习。