[论文解读] Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|Mar 24, 2019

Advanced Neural Network Applications被引用 29

一句话总结

该论文表明，具有恒定宽度、通道数和卷积核大小的残差网络型卷积神经网络（CNNs）可在霍尔德类和巴龙类等函数类上实现极小极大最优的逼近与估计误差率。通过利用全连接网络（FNNs）中的块稀疏结构，作者构建了等价的残差网络型CNN，保持了最优误差率，且无需不切实际的稀疏性或超宽架构。

ABSTRACT

Convolutional neural networks (CNNs) have been shown to achieve optimal approximation and estimation error rates (in minimax sense) in several function classes. However, previous analyzed optimal CNNs are unrealistically wide and difficult to obtain via optimization due to sparse constraints in important function classes, including the Hölder class. We show a ResNet-type CNN can attain the minimax optimal error rates in these classes in more plausible situations -- it can be dense, and its width, channel size, and filter size are constant with respect to sample size. The key idea is that we can replicate the learning ability of Fully-connected neural networks (FNNs) by tailored CNNs, as long as the FNNs have extit{block-sparse} structures. Our theory is general in a sense that we can automatically translate any approximation rate achieved by block-sparse FNNs into that by CNNs. As an application, we derive approximation and estimation error rates of the aformentioned type of CNNs for the Barron and Hölder classes with the same strategy.

研究动机与目标

• 弥合非参数估计中理论最优性与实际可行性之间的差距。
• 解决以往为实现霍尔德类等函数类的极小极大最优性而需要的稀疏、超宽CNN不切实际的问题。
• 证明具有恒定深度、宽度和卷积核大小的残差网络型CNN可达到与最优全连接网络相同的极小极大误差率。
• 建立一个通用框架，将块稀疏全连接网络的逼近率转换为等价CNN的逼近率。
• 证明稠密的、固定大小的CNN可与稀疏、宽广的全连接网络在关键函数类中达到相同的最优估计误差率。

提出的方法

• 构建从块稀疏全连接神经网络（FNNs）到残差网络型CNN的映射，保持逼近精度。
• 使用带有ReLU激活和恒等快捷连接的残差块，以模拟FNN组件，同时保持宽度和深度恒定。
• 在卷积中使用单侧填充以简化理论分析，且已证明通过小幅修改可扩展至对称填充。
• 通过在恒等快捷连接中使用掩码模式，对掩码CNN的参数空间应用覆盖数界，以控制泛化误差。
• 通过考虑通过覆盖数和参数数量衡量的模型复杂度，推导出泛化界，从而获得估计误差率。
• 通过调节FNN中块的数量$M$，优化逼近误差与估计误差之间的权衡，实现极小极大最优性。

实验结果

研究问题

• RQ1 具有恒定宽度、通道数和卷积核大小的残差网络型CNN能否实现极小极大最优的逼近与估计误差率？
• RQ2 如何利用FNN中的块稀疏结构来构建等价的稠密CNN，同时不损失最优性？
• RQ3 块稀疏FNN的逼近率与由此产生的CNN在泛化性能方面有何关系？
• RQ4 能否通过实际的稠密CNN架构实现霍尔德类和巴龙类的极小极大最优误差率？
• RQ5 所提出的CNN架构中缺乏池化层和批量归一化是否影响其理论最优性？

主要发现

• 具有恒定宽度、通道数和卷积核大小的残差网络型CNN可对$\beta$-霍尔德类实现极小极大最优逼近误差率。
• 所提出的CNN的估计误差率与$\beta$-霍尔德类的极小极大下界一致，其速率为$\tilde{O}(N^{-2\alpha\gamma_1})$，其中$\alpha = \frac{1}{2\gamma_1 + \gamma_2}$，$\gamma_1 = \frac{\beta}{D}$，$\gamma_2 = 1$。
• CNN的逼近误差为$O(M^{-\frac{\beta}{D}})$，与块稀疏FNN的最优率一致。
• CNN模型类的覆盖数满足$\mathcal{N}(\varepsilon, \mathcal{G}, \|\cdot\|_\infty) \leq (2B\Lambda_1\varepsilon^{-1})^{\Lambda_2} \cdot 2^{C\tilde{M}L}$，支持泛化界。
• 该方法在无需$L_0$-范数稀疏性约束或组合优化的情况下，达到了与最优FNN相同的极小极大估计误差率。
• 理论框架可自动将任意具有块稀疏结构的FNN逼近率转换为对应CNN的逼近率。