[论文解读] Solving ImageNet: a Unified Scheme for Training any Backbone to Top Results

Tal Ridnik, Hussam Lawen+2 more|arXiv (Cornell University)|Apr 7, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 USI（ImageNet 统一方案），一种即插即用的训练框架，使任何主干网络架构——从卷积神经网络、Transformer 到轻量级模型和仅 MLP 的模型——均能在无需超参数调优的情况下实现 ImageNet 的最先进 top-1 准确率。通过利用强教师模型的知识蒸馏和极少的辅助技术，USI 在多种架构上均实现了稳定的性能提升，将 ImageNet 训练转变为一种自动化、架构无关的常规流程。

ABSTRACT

ImageNet serves as the primary dataset for evaluating the quality of computer-vision models. The common practice today is training each architecture with a tailor-made scheme, designed and tuned by an expert. In this paper, we present a unified scheme for training any backbone on ImageNet. The scheme, named USI (Unified Scheme for ImageNet), is based on knowledge distillation and modern tricks. It requires no adjustments or hyper-parameters tuning between different models, and is efficient in terms of training times. We test USI on a wide variety of architectures, including CNNs, Transformers, Mobile-oriented and MLP-only. On all models tested, USI outperforms previous state-of-the-art results. Hence, we are able to transform training on ImageNet from an expert-oriented task to an automatic seamless routine. Since USI accepts any backbone and trains it to top results, it also enables to perform methodical comparisons, and identify the most efficient backbones along the speed-accuracy Pareto curve. Implementation is available at:https://github.com/Alibaba-MIIL/Solving_ImageNet

研究动机与目标

• 通过引入一种通用训练框架，消除 ImageNet 训练中对架构特定、专家调优方案的依赖。
• 在包括卷积神经网络、Transformer、轻量级模型和仅 MLP 网络在内的多种主干架构上，实现一致且高性能的训练。
• 通过提供一个通用且可靠的训练基线，建立系统化方法，用于沿速度-准确率帕累托前沿比较不同模型。
• 证明当适当地应用时，仅知识蒸馏本身即可作为强大且高准确率训练的核心机制，而无需大量正则化或超参数调优。

提出的方法

• 使用强教师模型进行知识蒸馏（KD），在训练过程中通过教师与学生网络 logits 之间的 KL 散度损失指导学生（目标）网络。
• 采用固定的 KD 相对权重（α_kd = 5），且不使用温度缩放（τ = 1），因为这些设置在各类模型上均表现最优。
• 将 Mixup-Cutmix 数据增强作为主要正则化手段，其性能优于 Cutout 或无增强。
• 避免使用架构特定的正则化方法（如 drop-path、drop-block），以保持通用性，因为这些方法在统一方案中无实际增益。
• 采用标准且强大的训练方案（如 1000 个周期、大批量、学习率缩放）进行训练，无需针对模型进行调整。
• 在公共代码库（timm）中重新实现该方案，以验证可复现性并确保广泛可访问性。

实验结果

研究问题

• RQ1 是否可以通过单一、统一的训练方案，在无需架构特定调优的情况下，实现对 ImageNet 上多种主干架构的最先进性能？
• RQ2 在不使用额外正则化的情况下，知识蒸馏本身在多大程度上能提升不同模型族的训练稳定性和准确率？
• RQ3 在统一设置下，KD 损失权重和温度等超参数如何影响性能表现？
• RQ4 在通用方案中，是否包含架构特定的正则化方法（如 drop-path）能提升结果，还是这些方法是冗余的？
• RQ5 该统一方案是否能实现沿速度-准确率帕累托曲线对模型进行可靠、系统化的比较？

主要发现

• USI 在所有测试的主干架构上均实现了 ImageNet-1K 的最先进 top-1 准确率，包括 ResNet 类型、面向移动端的模型、基于 Transformer 的模型以及仅 MLP 的网络，且无需任何超参数调优。
• 对于 LeViT-384，USI 达到了 82.7% 的 top-1 准确率，即使在不使用交叉熵损失、仅依赖知识蒸馏（α_kd = ∞）的情况下，该准确率也保持不变。
• 最优 KD 相对权重为 α_kd = 5；当值较低（如 α_kd = 1）或不使用 KD（α_kd = 0）时，性能显著下降（如准确率降至 76.2%）。
• KD 温度缩放（τ）具有负面影响：τ < 1 和 τ > 1 均导致准确率下降，τ = 1（即原始概率）时表现最佳。
• Mixup-Cutmix 增强方法在 LeViT-384 上实现了 82.7% 的 top-1 准确率，优于 Cutout（82.4%）和无增强（82.0%）。
• Drop-path 正则化在 USI 方案中无任何增益，准确率在应用后略有下降（82.5%），证实架构特定的正则化在统一设置中并非必要。