[论文解读] Convolutional Neural Networks with Dynamic Regularization

Yi Wang, Zhen-Peng Bian+2 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Neural Network Applications参考文献 29被引用 5

一句话总结

本文提出了一种卷积神经网络（CNN）的动态正则化方法，该方法根据训练损失的变化率自适应地调整正则化强度。通过将正则化建模为损失后向差分的函数，该方法能自动调节：在大模型中施加更强的扰动，在小模型中施加更弱的扰动，从而提升泛化性能，并在图像分类基准上优于SOTA方法如ShakeDrop和DropBlock。

ABSTRACT

Regularization is commonly used for alleviating overfitting in machine learning. For convolutional neural networks (CNNs), regularization methods, such as DropBlock and Shake-Shake, have illustrated the improvement in the generalization performance. However, these methods lack a self-adaptive ability throughout training. That is, the regularization strength is fixed to a predefined schedule, and manual adjustments are required to adapt to various network architectures. In this paper, we propose a dynamic regularization method for CNNs. Specifically, we model the regularization strength as a function of the training loss. According to the change of the training loss, our method can dynamically adjust the regularization strength in the training procedure, thereby balancing the underfitting and overfitting of CNNs. With dynamic regularization, a large-scale model is automatically regularized by the strong perturbation, and vice versa. Experimental results show that the proposed method can improve the generalization capability on off-the-shelf network architectures and outperform state-of-the-art regularization methods.

研究动机与目标

• 为解决固定强度正则化在CNN中的局限性，该方法缺乏对模型大小和训练动态的适应能力。
• 通过在训练过程中动态调整正则化强度，减少过拟合并提升泛化性能。
• 通过使正则化自适应于训练过程，消除手动超参数调优的需要。
• 通过在训练过程中逐步增加正则化强度，平衡欠拟合与过拟合。

提出的方法

• 正则化强度被建模为训练损失后向差分的函数，实现在训练过程中的实时自适应。
• 动态因子基于损失梯度进行更新，控制应用于残差分支的特征空间扰动幅度。
• 以结构化、分层的方式向特征图应用随机噪声，噪声范围从底部到顶部残差块线性增长。
• 在更新动态因子前，对损失信号应用高斯滤波，以减少小批量波动带来的噪声。
• 通过修改残差块以包含可学习的、依赖损失的扰动门，将该方法集成到ResNet类架构中。
• 正则化在前向和反向传播过程中均被应用，有效增强特征并提升鲁棒性。

实验结果

研究问题

• RQ1 是否能在训练过程中动态调整正则化强度，以提升泛化性能且无需手动调参？
• RQ2 基于损失的正则化调度是否在多种网络架构中优于固定或线性调度的正则化？
• RQ3 动态正则化是否能有效平衡不同深度与宽度模型中的欠拟合与过拟合？
• RQ4 与静态或调度方法相比，动态因子对训练损失的自适应在测试准确率方面表现如何？

主要发现

• 所提出的动态正则化在PyramidNet-26-a84上实现了23.83%的Top-1错误率，优于基线（26.30%）及所有固定/线性调度方法。
• 该方法减小了训练误差与测试误差之间的泛化差距，且在更深的模型（如PyramidNet-110-a48）中观察到更大的减小幅度。
• 使用线性增长的噪声范围（R）优于均匀R，将错误率从25.28%降低至23.83%。
• 移除高斯滤波后错误率上升1.38%，证实其在稳定动态因子更新中的关键作用。
• 与SOTA方法（包括ShakeDrop、Shake-Shake和DropBlock）相比，该动态调度在多种架构上均表现出更优性能。