[论文解读] Learning Deep ResNet Blocks Sequentially using Boosting Theory

Furong Huang, Jordan T. Ash+2 more|arXiv (Cornell University)|Jun 15, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用 31

一句话总结

该论文提出 BoostResNet，一种用于深度残差网络架构的新型训练算法，通过多通道伸缩求和提升框架，按顺序训练残差块。在弱学习条件下，证明了误差随深度呈指数级衰减，并在计算效率方面优于端到端反向传播，且在不可微设置下表现相当或更优，准确率更高。

ABSTRACT

Deep neural networks are known to be difficult to train due to the instability of back-propagation. A deep \emph{residual network} (ResNet) with identity loops remedies this by stabilizing gradient computations. We prove a boosting theory for the ResNet architecture. We construct $T$ weak module classifiers, each contains two of the $T$ layers, such that the combined strong learner is a ResNet. Therefore, we introduce an alternative Deep ResNet training algorithm, \emph{BoostResNet}, which is particularly suitable in non-differentiable architectures. Our proposed algorithm merely requires a sequential training of $T$ "shallow ResNets" which are inexpensive. We prove that the training error decays exponentially with the depth $T$ if the \emph{weak module classifiers} that we train perform slightly better than some weak baseline. In other words, we propose a weak learning condition and prove a boosting theory for ResNet under the weak learning condition. Our results apply to general multi-class ResNets. A generalization error bound based on margin theory is proved and suggests ResNet's resistant to overfitting under network with $l_1$ norm bounded weights.

研究动机与目标

• 开发一种理论基础扎实、高效的深度残差网络训练算法，避免端到端反向传播带来的计算和内存负担。
• 建立一种新的深度学习提升理论，该理论作用于学习到的表征（特征）而非预测标签。
• 证明在弱学习条件下，对浅层残差网络进行顺序训练可使训练误差随深度增加而呈指数级下降。
• 基于边缘理论提供泛化误差界，表明在 l1 权重约束下具有对过拟合的鲁棒性。
• 证明 BoostResNet 在训练速度和内存效率方面优于端到端反向传播，同时保持或提升测试准确率。

提出的方法

• 引入多通道伸缩求和提升框架，将残差网络中的分层特征变换建模为一系列弱学习器的序列。
• 提出 BoostResNet，一种按顺序训练的算法，逐个训练每个残差块，使用基于边缘的损失函数和弱学习预言机更新模型。
• 采用动态代价函数，根据预测误差自适应调整，通过 gamma 截断引导样本重加权，提升泛化性能。
• 采用弱学习条件，即每个块的性能必须略高于随机猜测（γt > 0），以确保误差随深度呈指数级衰减。
• 应用基于边缘理论推导出的泛化误差界，表明 l1 正则化权重有助于防止过拟合。
• 在 BoostResNet 训练后，引入端到端反向传播进行微调，以进一步提升准确率。

实验结果

研究问题

• RQ1 能否为深度神经网络开发一种基于特征而非预测标签的提升理论？
• RQ2 在弱学习条件下，对浅层残差块进行顺序训练是否能导致深层残差网络中误差的指数级减少？
• RQ3 基于提升的训练算法是否能在深层网络中实现比端到端反向传播更优的计算效率和内存使用？
• RQ4 BoostResNet 的泛化误差如何随深度变化？l1 正则化在防止过拟合中起什么作用？
• RQ5 BoostResNet 是否能有效应用于不可微架构，如使用张量分解或其他谱学习方法的模型？

主要发现

• 只要每个残差块满足弱学习条件（γt > 0），BoostResNet 就能实现训练误差随深度 T 呈指数级衰减。
• 在 SVHN 数据集上，BoostResNet 仅使用 3×10⁸ 次梯度更新即达到 93.8% 的测试准确率，优于端到端反向传播（e2eBP）在相同条件下仅达到 83% 的准确率。
• 在 CIFAR-10 上，BoostResNet 的收敛速度优于 e2eBP，且在经 e2eBP 微调后，即使使用次优的残差网络架构，也能达到与之相当的测试准确率。
• BoostResNet 的内存使用显著降低——仅需在 GPU 内存中存储一个残差块，因此 GPU 内存需求降低至网络深度的倒数。
• 该算法在计算上比 e2eBP 更高效，由于采用顺序、逐层优化，所需梯度更新次数远少于端到端反向传播。
• 基于边缘理论推导出的泛化误差界表明，l1 正则化权重可增强 BoostResNet 对过拟合的鲁棒性。