[论文解读] Bag of Tricks for Image Classification with Convolutional Neural Networks
该论文对一系列训练过程改进和较小的架构调整进行综述并进行经验评估，结果表明将它们堆叠起来可以提升 ImageNet 的准确率和迁移学习性能。
Much of the recent progress made in image classification research can be credited to training procedure refinements, such as changes in data augmentations and optimization methods. In the literature, however, most refinements are either briefly mentioned as implementation details or only visible in source code. In this paper, we will examine a collection of such refinements and empirically evaluate their impact on the final model accuracy through ablation study. We will show that, by combining these refinements together, we are able to improve various CNN models significantly. For example, we raise ResNet-50's top-1 validation accuracy from 75.3% to 79.29% on ImageNet. We will also demonstrate that improvement on image classification accuracy leads to better transfer learning performance in other application domains such as object detection and semantic segmentation.
研究动机与目标
- 识别一组训练过程的改进和较小的架构调整，以在不增加计算成本的前提下提升 CNN 的准确性。
- 通过在多种网络和数据集上进行消融研究，定量评估每个技巧的影响。
- 证明在标准训练流程下，组合后的技巧优于较新的架构。
- 表明准确性提升会带来在目标检测和语义分割任务上的迁移学习性能提升。
提出的方法
- 定义一个基线的 ResNet 训练流程及一组用于数据预处理、优化和正则化的技巧。
- 进行消融研究以分离每个技巧对 Top-1/Top-5 精度的影响。
- 在 ImageNet 上对 ResNet-50、Inception-V3 和 MobileNet 评估这些技巧；报告 FLOPs 与精度。
- 提出若干针对 ResNet 架构的模型调整，以评估它们对准确率和 FLOPs 的影响。
- 研究大批量训练、混合精度训练、学习率调度、标签平滑、蒸馏与 mixup。
- 测试迁移学习在目标检测（Faster-RCNN 在 PASCAL VOC 上）和语义分割（ADE20K）上的性能。
实验结果
研究问题
- RQ1单个训练改进对 CNN 在 ImageNet 上准确率的影响是多少？
- RQ2将多种技巧堆叠与跨架构的标准训练流程相比，它有何不同？
- RQ3来自技巧的准确性提升是否会迁移到如目标检测和语义分割等其他任务？
- RQ4哪些技巧组合在准确性和计算成本之间能实现最佳权衡？
主要发现
- 在标准管线下，ResNet-50 采用全部技巧后在 ImageNet 上达到 79.29% 的 top-1，超过了若干较新架构。
- 在大多数情况下，组合技巧比单独应用时获得更大的增益。
- 这些技巧可推广到 Inception-V3 和 MobileNet，并提升目标检测和语义分割的迁移学习性能。
- 大批量和混合精度训练显著缩短训练时间，并在与这些技巧结合时能够维持或提高准确性。
- 知识蒸馏对某些架构（尤其是 ResNet 家族）有益，但并非对所有模型都有效。
- 标签平滑、mixup 和余弦学习率衰减对 ImageNet 的验证准确率有显著提升。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。