[论文解读] Fixing the train-test resolution discrepancy: FixEfficientNet

Hugo Touvron, Andrea Vedaldi+2 more|arXiv (Cornell University)|Mar 18, 2020

Image Processing Techniques and Applications参考文献 16被引用 67

一句话总结

本文将 FixRes 应用于 EfficientNet，以对齐训练与测试分辨率，产生 FixEfficientNet，在参数规模友好下实现 ImageNet 的一流精度，其中包括 88.5% 的 Top-1（L2）和 98.7% 的 Top-5。

ABSTRACT

This paper provides an extensive analysis of the performance of the EfficientNet image classifiers with several recent training procedures, in particular one that corrects the discrepancy between train and test images. The resulting network, called FixEfficientNet, significantly outperforms the initial architecture with the same number of parameters. For instance, our FixEfficientNet-B0 trained without additional training data achieves 79.3% top-1 accuracy on ImageNet with 5.3M parameters. This is a +0.5% absolute improvement over the Noisy student EfficientNet-B0 trained with 300M unlabeled images. An EfficientNet-L2 pre-trained with weak supervision on 300M unlabeled images and further optimized with FixRes achieves 88.5% top-1 accuracy (top-5: 98.7%), which establishes the new state of the art for ImageNet with a single crop. These improvements are thoroughly evaluated with cleaner protocols than the one usually employed for Imagenet, and particular we show that our improvement remains in the experimental setting of ImageNet-v2, that is less prone to overfitting, and with ImageNet Real Labels. In both cases we also establish the new state of the art.

研究动机与目标

• 动机：减少由不同 RoCs（Regions of Classification）和裁剪引起的训练-测试分布不一致。
• 评估将 FixRes 微调应用于 EfficientNet 在不同模型规模上的准确率影响。
• 在更清洁的评估协议下，确立使用/不使用外部数据的 ImageNet 性能。
• 通过在 ImageNet-V2 和 ImageNet Real Labels 上的评估来评估泛化能力，以验证鲁棒性。

提出的方法

• 在目标分辨率下重新训练分类器（或顶层）来对 EfficientNet 架构应用 FixRes 微调。
• 在微调期间使用 FixRes 数据增强并结合标签平滑。
• 以 EfficientNet 预训练模型为起点，在 ImageNet-2012 上以单裁剪的 Top-1/Top-5 指标进行评估。
• 与包括 Noisy Student 与 AdvProp 变体在内的 EfficientNet 基线进行比较，无外部数据与有外部数据两种情形。
• 在更清洁的评估设定下验证改进，包括 ImageNet-V2 Matched Frequency 和 ImageNet Real Labels。

实验结果

研究问题

• RQ1 FixRes 微调在 ImageNet 上对不同模型规模（B0–L2）的 EfficientNet 性能有何影响？
• RQ2 在 ImageNet-V2 和 ImageNet Real Labels 上的评估是否显示出大于标准 ImageNet-val 的泛化能力提升？
• RQ3 在与 FixRes 结合的情况下，移除外部数据与使用 300M 未标记图像之间有何影响？
• RQ4 在清洁评估协议下，FixEfficientNet 与先前的最先进 EfficientNet 变体（含对抗训练或 Noisy Student）的比较如何？

主要发现

• FixEfficientNet-B0 在无额外数据的情况下实现 ImageNet 的 79.3% Top-1 和 94.6% Top-5（与 EfficientNet-B0 的 77.6%/93.3% 相比）。
• FixEfficientNet-L2 在有额外数据的情况下达到 ImageNet 的 88.5% Top-1 和 98.7% Top-5（在 Table 1 最后一行中为 88.5%/98.7%）。
• 在没有外部数据的 ImageNet 上，FixEfficientNet 在 B0–B7 的表现超越了带 AdvProp 的 EfficientNet，例如 B7：85.3% Top-1（对比 EfficientNet-B7 的 85.2%）。
• FixEfficientNet-L2 在 ImageNet 单裁剪上实现新的最先进结果（Top-1 88.5%，Top-5 98.7%）。
• 在清洁标签下，FixEfficientNet-L2 达到 90.9% Top-1 与 98.8% Top-5，超过了前人工作。
• 在 ImageNet-V2 Matched Frequency 下，FixEfficientNet 变体显示出较强的泛化能力，超越 EfficientNet 基线。