[论文解读] Curriculum By Smoothing

Samarth Sinha, Animesh Garg+1 more|arXiv (Cornell University)|Mar 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 62被引用 4

一句话总结

本文提出课程平滑（Curriculum by Smoothing, CBS），一种通过渐进式增加特征图中的高频信息（通过调节高斯滤波器方差）来提升CNN性能的训练策略。通过在早期训练阶段对未训练权重引起的噪声进行平滑处理，并逐步释放更丰富的细节，CBS在图像分类、迁移学习、目标检测、语义分割和变分自编码器（VAEs）等任务中均提升了准确率与泛化能力，且无需引入额外参数。

ABSTRACT

Convolutional Neural Networks (CNNs) have shown impressive performance in computer vision tasks such as image classification, detection, and segmentation. Moreover, recent work in Generative Adversarial Networks (GANs) has highlighted the importance of learning by progressively increasing the difficulty of a learning task [26]. When learning a network from scratch, the information propagated within the network during the earlier stages of training can contain distortion artifacts due to noise which can be detrimental to training. In this paper, we propose an elegant curriculum based scheme that smoothes the feature embedding of a CNN using anti-aliasing or low-pass filters. We propose to augment the train-ing of CNNs by controlling the amount of high frequency information propagated within the CNNs as training progresses, by convolving the output of a CNN feature map of each layer with a Gaussian kernel. By decreasing the variance of the Gaussian kernel, we gradually increase the amount of high-frequency information available within the network for inference. As the amount of information in the feature maps increases during training, the network is able to progressively learn better representations of the data. Our proposed augmented training scheme significantly improves the performance of CNNs on various vision tasks without either adding additional trainable parameters or an auxiliary regularization objective. The generality of our method is demonstrated through empirical performance gains in CNN architectures across four different tasks: transfer learning, cross-task transfer learning, and generative models.

研究动机与目标

• 解决由于未训练参数导致的早期CNN训练阶段中特征表示噪声大、失真的问题。
• 通过系统性地控制训练过程中高频信息的流动，改善深度网络的表征学习能力。
• 开发一种通用的、非参数化的课程学习方法，无需修改网络结构即可在多种视觉任务中提升性能。
• 在监督学习、自监督学习和生成学习等多种设置下，验证该方法的通用性与鲁棒性。

提出的方法

• 在训练过程中对每个CNN层的输出特征图应用高斯低通滤波器，以抑制未训练权重带来的高频噪声。
• 随时间逐渐调节高斯核的标准差（σ），逐步增加网络中传播的高频信息量。
• 通过高斯滤波实现抗混叠处理，减少早期训练阶段特征空间中的混叠伪影。
• 将平滑操作直接集成到每一层的前向传播过程中，确保与任意CNN架构兼容。
• 保持相同的训练目标和损失函数，不引入任何额外可学习参数或正则化项。
• 端到端地在所有层中应用该方法，滤波操作位于每个卷积层之后、激活函数之前。

实验结果

研究问题

• RQ1 渐进式平滑特征图是否能改善CNN在早期训练阶段的表征学习？
• RQ2 通过调节高斯滤波器逐步增加高频信息，是否能提升在多样化视觉任务中的下游性能？
• RQ3 该方法是否能在不增加参数的前提下，提升迁移学习、目标检测、语义分割和生成模型的性能？
• RQ4 与现有课程学习方法相比，该方法在鲁棒性和泛化能力方面表现如何？

主要发现

• 与基线相比，CBS在CIFAR-10上将ResNet-18的准确率提升了10.2个百分点（从80.0%提升至90.2%）。
• 在CIFAR-100上，CBS达到了65.4%的准确率，较基线提升了19.7个百分点。
• 当作为特征提取器用于未见数据集时，CBS训练的ImageNet模型在零样本和少样本迁移学习设置下优于标准训练方法。
• 在使用ImageNet预训练权重时，CBS显著提升了目标检测和语义分割任务的性能。
• 在VAEs中，CBS在CIFAR-10和CelebA数据集上均同时提升了重建质量（更低的NLL）和表征质量（更高的互信息MI和活跃单元数）。
• 消融实验证实，仅对特征图进行平滑（而非输入）以及σ的渐进调节是关键——固定σ或对输入进行平滑会降低性能。