[论文解读] Adaptivity of deep ReLU network for learning in Besov and mixed smooth Besov spaces: optimal rate and curse of dimensionality

Taiji Suzuki|arXiv (Cornell University)|Oct 18, 2018

Image and Signal Denoising Methods被引用 81

一句话总结

本文分析深度 ReLU 网络在 Besov 空间及混合平滑 Besov 空间中的函数，给出极小极大（minimax）最优的逼近和估计速率，并指出自适应性有助于在混合平滑空间中避免维度灾难。

ABSTRACT

Deep learning has shown high performances in various types of tasks from visual recognition to natural language processing, which indicates superior flexibility and adaptivity of deep learning. To understand this phenomenon theoretically, we develop a new approximation and estimation error analysis of deep learning with the ReLU activation for functions in a Besov space and its variant with mixed smoothness. The Besov space is a considerably general function space including the Holder space and Sobolev space, and especially can capture spatial inhomogeneity of smoothness. Through the analysis in the Besov space, it is shown that deep learning can achieve the minimax optimal rate and outperform any non-adaptive (linear) estimator such as kernel ridge regression, which shows that deep learning has higher adaptivity to the spatial inhomogeneity of the target function than other estimators such as linear ones. In addition to this, it is shown that deep learning can avoid the curse of dimensionality if the target function is in a mixed smooth Besov space. We also show that the dependency of the convergence rate on the dimensionality is tight due to its minimax optimality. These results support high adaptivity of deep learning and its superior ability as a feature extractor.

研究动机与目标

• 证明深度 ReLU 网络能够以 minimax 最优方式逼近 Besov 空间和混合 Besov 空间。
• 证明深度学习在 Besov 空间上优于线性估计量，如核岭回归（kernel ridge regression）。
• 建立混合平滑 Besov 空间在深度网络下可以避免维度灾难。
• 在 Besov/混合 Besov 假设下给出明确的逼近误差和估计误差界。

提出的方法

• 通过基数 B 样条和 B 样条表示，为 ReLU 网络逼近 Besov 与混合 Besov 空间开发逼近误差界。
• 证明存在能够以指定的 L-∞ 误差在 epsilon 内逼近 B 样条的 ReLU 网络。
• 将 Besov/m-Besov 近似界转化为非参数回归设定下的泛化/估计误差界。
• 推导 Besov 空间中的估计极小极大最优速率，并显示混合 Besov 空间中改进的速率。
• 将自适应深度学习速率与线性（如核岭）速率进行比较，并给出最优性论证。

实验结果

研究问题

• RQ1 基于 ReLU 的深度网络是否能够在 Besov 空间中的函数实现 minimax 最优逼近速率？
• RQ2 在 Besov 空间中，ReLU 网络在逼近和估计误差方面是否优于线性估计量（如核岭回归）？
• RQ3 混合平滑 Besov 空间是否使深度网络能够避免维度灾难，且得到的速率是多少？
• RQ4 网络结构参数（深度、宽度、稀疏性、范数界限）如何转化为具体的逼近误差和估计误差界？

主要发现

• 在给定的光滑度与可积性条件下，深度 ReLU 网络在 Besov 空间上实现了 minimax 最优的逼近速率。
• 深度网络在 Besov 空间上优于线性估计量，如核岭回归，特别是当目标具有空间上非均匀光滑性时。
• 对于混合平滑 Besov 空间，深度网络可以避免维度灾难并达到近似 minimax 速率，速率依赖于 s 和 d。
• 通过 B 样条的逼近误差界给出有限网络构造，具有显式的 L^r 范数，展现自适应性的优势。
• 估计误差分析表明，在带高斯噪声的标准非参数回归下，深度网络可以达到极小极大速率 n^{-2s/(2s+d)}，多对数因子下，线性估计量无法达到。