[论文解读] Adapting ImageNet-scale models to complex distribution shifts with self-learning

Evgenia Rusak, Steffen Schneider+4 more|arXiv (Cornell University)|Apr 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 9

一句话总结

本文提出了一种自学习框架，在复杂分布偏移下显著提升了ImageNet规模数据集的鲁棒性。通过频繁的教师-学生网络更新、仅微调少量仿射参数，并应用鲁棒分类技术以缓解标签噪声的影响，该方法在ImageNet-C（22.0% mCE）、ImageNet-R（17.4% 错误率）和ImageNet-A（14.8% 错误率）上取得了最先进结果，且在与先前鲁棒化方法结合时进一步提升了性能。

ABSTRACT

While self-learning methods are an important component in many recent domain adaptation techniques, they are not yet comprehensively evaluated on ImageNet-scale datasets common in robustness research. In extensive experiments on ResNet and EfficientNet models, we find that three components are crucial for increasing performance with self-learning: (i) using short update times between the teacher and the student network, (ii) fine-tuning only few affine parameters distributed across the network, and (iii) leveraging methods from robust classification to counteract the effect of label noise. We use these insights to obtain drastically improved state-of-the-art results on ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error). Our techniques yield further improvements in combination with previously proposed robustification methods. Self-learning is able to reduce the top-1 error to a point where no substantial further progress can be expected. We therefore re-purpose the dataset from the Visual Domain Adaptation Challenge 2019 and use a subset of it as a new robustness benchmark (ImageNet-D) which proves to be a more challenging dataset for all current state-of-the-art models (58.2% error) to guide future research efforts at the intersection of robustness and domain adaptation on ImageNet scale.

研究动机与目标

• 评估自学习方法在ImageNet规模数据集上的表现，这些数据集是鲁棒性研究的核心，但在该背景下仍研究不足。
• 识别使自学习能够有效应对大规模视觉模型中复杂分布偏移的关键组件。
• 在ImageNet-C、ImageNet-R和ImageNet-A等标准鲁棒性基准上进一步提升最先进性能。
• 基于2019年视觉域自适应挑战赛数据集，提出一个新且更具挑战性的基准——ImageNet-D，以引导未来研究。

提出的方法

• 通过频繁更新教师网络与学生网络之间的权重，以稳定并加速自学习过程。
• 仅对分布在模型各处的少数仿射参数（如批量归一化层）进行微调，以限制过拟合并提升泛化能力。
• 应用鲁棒分类技术（如标签平滑和一致性正则化）以抵消伪标签噪声带来的负面影响。
• 使用教师网络生成的伪标签训练学生网络，并通过多次自学习循环实现迭代优化。
• 将所提出的自学习策略与现有鲁棒化方法结合，以进一步提升性能。
• 重新利用2019年视觉域自适应挑战赛数据集的子集，构建新基准ImageNet-D，以反映更复杂的域偏移。

实验结果

研究问题

• RQ1 在复杂分布偏移下，有效应用于ImageNet规模数据集的自学习中，哪些组件是必不可少的？
• RQ2 频繁的教师-学生更新与选择性参数微调如何影响模型的鲁棒性与收敛性？
• RQ3 鲁棒分类技术在多大程度上可以缓解自学习中由噪声伪标签引起的性能退化？
• RQ4 自学习是否足以将top-1错误率降低到其他方法带来的增益变得微不足道的程度？
• RQ5 所提出的ImageNet-D基准与现有ImageNet鲁棒性基准相比，难度如何？

主要发现

• 所提出的自学习框架在ImageNet-C上实现了22.0%的平均损坏错误率（mCE），显著优于先前方法。
• 在ImageNet-R上，该方法将错误率降低至17.4%，表明其在风格和物体类别偏移下具有强大的泛化能力。
• 在ImageNet-A上，模型实现了14.8%的错误率，表明其对对抗性样本和罕见物体偏移具有高度鲁棒性。
• 自学习与现有鲁棒化技术结合后进一步提升了性能，表明二者具有互补优势。
• 新提出的ImageNet-D基准在最先进模型上表现出58.2%的top-1错误率，表明其比现有基准更具挑战性。
• 仅使用自学习已将错误率降低至进一步改进空间极小的程度，表明其在当前基准上已接近性能极限。