[论文解读] Deep learning is adaptive to intrinsic dimensionality of model smoothness in anisotropic Besov space

Taiji Suzuki, Atsushi Nitanda|arXiv (Cornell University)|Oct 28, 2019

Mathematical Approximation and Integration参考文献 60被引用 24

一句话总结

该论文表明，通过证明近似误差和估计误差仅依赖于各方向上的平均光滑度，而非完整的输入维度，深度学习能够适应各向异性 Besov 空间中模型光滑性的固有维度。这使得当目标函数表现出各向异性光滑性（即某些方向上光滑，其他方向上粗糙）时，深度学习可以避免维度灾难，从而在这些设定下优于核方法等线性估计器。

ABSTRACT

Deep learning has exhibited superior performance for various tasks, especially for high-dimensional datasets, such as images. To understand this property, we investigate the approximation and estimation ability of deep learning on anisotropic Besov spaces. The anisotropic Besov space is characterized by direction-dependent smoothness and includes several function classes that have been investigated thus far. We demonstrate that the approximation error and estimation error of deep learning only depend on the average value of the smoothness parameters in all directions. Consequently, the curse of dimensionality can be avoided if the smoothness of the target function is highly anisotropic. Unlike existing studies, our analysis does not require a low-dimensional structure of the input data. We also investigate the minimax optimality of deep learning and compare its performance with that of the kernel method (more generally, linear estimators). The results show that deep learning has better dependence on the input dimensionality if the target function possesses anisotropic smoothness, and it achieves an adaptive rate for functions with spatially inhomogeneous smoothness.

研究动机与目标

• 理解为何深度学习在图像识别等高维任务中表现优异，尽管存在理论挑战。
• 分析深度学习在各向异性 Besov 空间中的近似误差与估计误差，此类空间用于建模方向相关的光滑性。
• 证明当目标函数具有各向异性光滑性时，深度学习可避免维度灾难。
• 在该设定下建立深度学习的极小极大最优性，并与核方法等线性估计器进行比较。
• 通过聚焦于内在光滑性结构而非数据几何，消除对低维数据流形的依赖。

提出的方法

• 分析在各向异性 Besov 空间中进行，其中光滑性随输入维度变化，推广了 Hölder 和 Sobolev 等各向同性函数类。
• 作者使用 Temlyakov（1993）和 DeVore（1998）的逼近理论，对深度 ReLU 网络的逼近误差进行上界估计。
• 通过覆盖数论证推导估计误差上界，利用 ReLU 激活函数的结构与权重约束。
• 通过稀疏性与权重大小对网络类的覆盖数进行上界估计，表明其对精度和网络深度具有对数依赖性。
• 关键洞见在于，有效维度由各方向上光滑性参数的平均值决定，而非总输入维度。
• 通过与线性估计器比较，建立极小极大最优性，表明在各向异性光滑性下收敛速率更优。

实验结果

研究问题

• RQ1 当目标函数具有方向依赖的光滑性时，深度学习能否避免维度灾难？
• RQ2 深度学习的近似误差与估计误差是否依赖于完整输入维度，还是仅依赖于各方向上的平均光滑度？
• RQ3 在各向异性光滑性设定下，深度学习与核岭回归等线性估计器相比表现如何？
• RQ4 深度学习在各向异性 Besov 空间中是否达到极小极大最优性？是否能实现空间异质光滑性下的自适应收敛速率？
• RQ5 该分析能否在不假设数据位于低维流形的前提下进行，而仅依赖于光滑性结构？

主要发现

• 深度学习的近似误差与估计误差仅依赖于所有输入方向上光滑度参数的平均值，而非总维度。
• 深度学习实现了 $\tilde{O}(n^{-\frac{2\widetilde{\beta}}{2\widetilde{\beta}+1}})$ 的收敛速率，其中 $\widetilde{\beta}$ 为平均光滑度，避免了在各向异性设定下的维度灾难。
• 该速率是极小极大最优的，且当 $D \ll d$（内在维度）时，显著优于核方法的 $\tilde{O}(n^{-\frac{2\beta}{2\beta+D}})$ 收敛速率。
• 该分析无需假设数据位于低维流形上，因此对噪声更鲁棒，且比以往工作更具普适性。
• 深度学习能自适应空间异质光滑性，在极小极大风险方面优于非自适应的线性估计器。
• 深度 ReLU 网络的覆盖数满足 $\log \mathcal{N} \leq 2SL\log((B\vee 1)(W+1)) + S\log(\delta^{-1}L)$，从而可导出紧致的一般化界。