[论文解读] Drop-Activation: Implicit Parameter Reduction and Harmonic Regularization

Senwei Liang, Yuehaw Khoo+1 more|arXiv (Cornell University)|Nov 14, 2018

Advanced Neural Network Applications参考文献 30被引用 5

一句话总结

本文提出了一种名为Drop-Activation的新颖正则化方法，该方法在训练过程中随机将ReLU激活函数替换为恒等映射，以隐式减少模型参数并提升泛化能力。该方法与批量归一化兼容，并在CIFAR-10、CIFAR-100、SVHN、EMNIST和ImageNet基准测试中持续提升测试准确率，且不增加推理复杂度。

ABSTRACT

Overfitting frequently occurs in deep learning. In this paper, we propose a novel regularization method called Drop-Activation to reduce overfitting and improve generalization. The key idea is to drop nonlinear activation functions by setting them to be identity functions randomly during training time. During testing, we use a deterministic network with a new activation function to encode the average effect of dropping activations randomly. Our theoretical analyses support the regularization effect of Drop-Activation as implicit parameter reduction and verify its capability to be used together with Batch Normalization (Ioffe and Szegedy 2015). The experimental results on CIFAR-10, CIFAR-100, SVHN, EMNIST, and ImageNet show that Drop-Activation generally improves the performance of popular neural network architectures for the image classification task. Furthermore, as a regularizer Drop-Activation can be used in harmony with standard training and regularization techniques such as Batch Normalization and Auto Augment (Cubuk et al. 2019). The code is available at \url{https://github.com/LeungSamWai/Drop-Activation}.

研究动机与目标

• 解决深度神经网络中的过拟合问题，尤其是在模型容量超过训练数据规模时。
• 开发一种正则化技术，隐式减少有效参数数量，且无需改变网络架构。
• 确保与现有训练技术（如批量归一化和数据增强）的兼容性。
• 在图像分类任务中，于多种架构和数据集上展示一致的性能提升。
• 通过隐式参数减少和方差稳定性，为正则化效果提供理论依据。

提出的方法

• 以固定概率在训练过程中随机丢弃ReLU激活函数，将其替换为恒等映射。
• 训练一个随机网络集合，其中每个网络随机激活或去激活非线性单元。
• 在推理阶段，使用一个确定性网络，其新激活函数结合了被丢弃和保留的非线性单元的平均效应。
• 所推导的激活函数是恒等函数与ReLU函数的凸组合，其来源于伯努利丢弃的期望。
• 理论分析表明，Drop-Activation隐式惩罚了非线性与线性网络行为之间的差异，从而促进更简单、更具泛化能力的模型。
• 该方法通过保持训练与推理阶段激活方差的一致性，保留了批量归一化的统计特性，从而实现与BN的协同作用。

实验结果

研究问题

• RQ1 在训练过程中随机丢弃非线性激活函数是否能提升深度网络的泛化能力？
• RQ2 Drop-Activation是否隐式减少了有效参数数量？如果是，这对模型容量和过拟合有何影响？
• RQ3 Drop-Activation能否与批量归一化有效结合，而不破坏其统计特性？
• RQ4 当与Cutout或AutoAugment等其他正则化技术结合时，Drop-Activation的表现如何？
• RQ5 该方法是否能在标准基准之外的不同架构和数据集上实现泛化？

主要发现

• 在CIFAR-10和CIFAR-100上，Drop-Activation持续提升测试准确率，与基线模型相比，错误率最高降低1.5%。
• 在SVHN和EMNIST上，Drop-Activation在多种架构（包括ResNet、WideResNet和DenseNet）上将测试错误率降低了0.1%至0.3%。
• 在ImageNet上，Drop-Activation将ResNet34的top-1验证错误率降低0.22%，将SE-ResNet50的错误率降低0.21%，证明了其在大规模场景下的有效性。
• 当与AutoAugment或Cutout结合时，Drop-Activation进一步降低了测试错误率——例如，在使用AutoAugment和Drop-Activation的WideResNet28-10上，CIFAR-100的错误率降低了1.84%。
• Drop-Activation保持了稳定的批量统计特性，实现了与批量归一化的无缝集成，而Dropout则会破坏方差一致性。
• 由于每个激活需进行随机伯努利采样，训练时间略有增加，但仍在可接受范围内——例如，在WideResNet28-10上，训练时间仅增加17.9%。