[论文解读] Icing on the Cake: An Easy and Quick Post-Learnig Method You Can Try After Deep Learning

Tomohiko Konno, Michiaki Iwazume|arXiv (Cornell University)|Jul 17, 2018

Machine Learning and Data Classification参考文献 6被引用 10

一句话总结

该论文提出了一种名为 'Icing on the Cake'（ICK）的简单后训练方法，仅通过微调预训练深度神经网络的倒数第二层提取的特征来重新训练最终的分类器层。该方法在多个模型架构（ResNet、DenseNet、WideResNet）上对CIFAR-100和CIFAR-10数据集均实现了图像分类准确率的提升，计算成本极低——通常在五分钟以内，准确率最高可提升7个百分点（例如，ResNet-56在CIFAR-100上的准确率从66%提升至73%）。

ABSTRACT

We found an easy and quick post-learning method named "Icing on the Cake" to enhance a classification performance in deep learning. The method is that we train only the final classifier again after an ordinary training is done.

研究动机与目标

• 开发一种轻量级的后训练方法，无需重新训练整个网络即可提升深度学习模型性能。
• 探究仅使用提取特征重新训练最终分类器层是否能提升图像分类任务中的泛化能力和鲁棒性。
• 提供一种实用、低成本的技术，使研究人员和从业者可在标准训练后轻松应用，以获得可测量的性能提升。
• 探索该方法在不同架构（ResNet、DenseNet、WideResNet）和数据集（CIFAR-10、CIFAR-100）上的泛化能力。

提出的方法

• 在标准训练深度神经网络后，从紧邻最终分类器层之前的层（即倒数第二层）提取特征。
• 仅使用这些提取的特征和原始训练标签来训练一个新的分类器。
• 在推理阶段，使用重新训练的分类器，可通过替换原始最终层或直接将分类器应用于测试特征来实现。
• 该方法计算效率高，因为仅重新训练最终层，耗时极短（通常在五分钟以内）。
• 该方法与架构无关，可应用于任何具有标准分类头的预训练模型。
• 在重新训练阶段使用数据增强和标准优化方法（如Adam），以保持与原始训练设置的一致性。

实验结果

研究问题

• RQ1 在标准训练后仅重新训练最终分类器层，是否能提升图像基准测试中的分类准确率？
• RQ2 'Icing on the Cake' 方法是否在不同深度学习架构（如ResNet、DenseNet和WideResNet）上具有泛化能力？
• RQ3 性能提升有多大？这些提升是否在多个运行和数据集（如CIFAR-10、CIFAR-100）上保持一致？
• RQ4 该方法是否降低了模型性能的方差，表现为多次试验中标准差的减小？
• RQ5 尽管目前尚无理论解释，为何这一简单的后处理步骤能持续带来性能提升？

主要发现

• 在CIFAR-100上的ResNet-56上，应用 'Icing on the Cake' 后准确率从66%提升至73%，提升了7个百分点。
• 在所有测试的ResNet深度（11至56）中，该方法均一致提升了准确率，各深度的平均提升超过7个百分点。
• 在DenseNet（深度=40，增长率为12）上，CIFAR-100的准确率从59%提升至79%，提升了20个百分点。
• 在CIFAR-10上，ResNet-56在应用ICK前准确率为88.5%，应用后提升至92%，提升了3.5个百分点。
• 在十次运行中，准确率的标准差在应用ICK后显著减小，表明训练稳定性提高且方差降低。
• 该方法在WideResNet-16-8上也有效，平均准确率从72%提升至74%，证明其在多种架构上的广泛适用性。