[论文解读] Fast, Better Training Trick -- Random Gradient

Jiakai Wei|arXiv (Cornell University)|Aug 13, 2018

Advanced Image and Video Retrieval Techniques参考文献 19被引用 3

一句话总结

本文提出随机梯度（RG），一种简单而有效的训练技巧，通过在反向传播前将损失乘以0到1之间的随机数，加速收敛并提升模型性能。该方法无需额外计算，适用于图像分类、语义分割和生成对抗网络（GANs）等多种任务，能持续加快训练速度并减少优化振荡，尤其在高学习率和动量值为0.5–0.95时效果更显著。

ABSTRACT

In this paper, we will show an unprecedented method to accelerate training and improve performance, which called random gradient (RG). This method can be easier to the training of any model without extra calculation cost, we use Image classification, Semantic segmentation, and GANs to confirm this method can improve speed which is training model in computer vision. The central idea is using the loss multiplied by a random number to random reduce the back-propagation gradient. We can use this method to produce a better result in Pascal VOC, Cifar, Cityscapes datasets.

研究动机与目标

• 开发一种轻量化、无需计算开销的方法，以加速深度学习训练并改善收敛性。
• 探究损失函数的随机加权是否能在多种计算机视觉任务中稳定并加速优化过程。
• 探索随机梯度、学习率、动量与模型架构之间的相互作用对训练性能的影响。
• 在标准基准上展示该方法的有效性，且不依赖复杂的优化算法。

提出的方法

• 核心方法是在计算梯度前将损失值乘以[0,1]区间内的均匀随机数，生成一种‘随机梯度’，从而减小反向传播信号的幅度。
• 随机缩放按批次独立应用，向梯度更新过程引入受控噪声，以促进更快收敛并减少振荡。
• 该方法与模型无关，无需架构修改或额外参数，适用于任何深度学习模型。
• 实验采用标准训练协议，包含数据增强、归一化和学习率调度，通过调整学习率和动量值评估泛化能力。
• 在ResNet、DenseNet、MobileNetV2、PSPNet和pix2pix上进行评估，使用Pascal VOC、CIFAR-10/100和Cityscapes等数据集。
• GAN实验中使用Adam优化器，证实该方法与自适应优化器兼容，不依赖随机梯度下降（SGD）。

实验结果

研究问题

• RQ1 损失函数的随机缩放是否能加速深度学习模型的收敛并改善泛化性能？
• RQ2 随机梯度方法与不同架构下的学习率、动量等超参数如何相互作用？
• RQ3 该方法在图像分类、语义分割和图像生成任务中是否保持或提升性能？
• RQ4 在GAN训练中，该方法与Adam等自适应优化器结合是否有效？
• RQ5 该随机梯度技巧是否可在无需架构修改的情况下推广至不同模型架构和数据集？

主要发现

• 在图像分类任务中，随机梯度方法显著加速了ResNet34的收敛，尤其当初始学习率超过0.1时效果更明显。
• 在PSPNet的语义分割任务中，该方法减少了优化振荡并提升了mIOU性能，尤其在动量值为0.5–0.95时表现更优。
• 在使用pix2pix的GAN中，该方法生成的图像比标准反向传播更清晰、更逼真。
• 该方法在所有评估任务中均实现更快收敛和更好稳定性，即使使用Adam优化器也表现良好，表明其广泛兼容性。
• 最优动量值并非固定不变，但动量为0.5在图像分类和分割任务中始终表现强劲。
• 该方法无显著计算开销，仅涉及每损失值的一次标量乘法，因此在部署中极为高效。