[论文解读] If your data distribution shifts, use self-learning

Evgenia Rusak, Steffen Schneider+6 more|arXiv (Cornell University)|Apr 27, 2021

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

该论文表明，自学习技术——特别是熵最小化和伪标签法——在无原始训练数据访问的情况下，也能显著提升深度学习模型在系统性数据分布偏移下的性能。该方法在 ImageNet-C（22.0% mCE）、ImageNet-R（17.4% 错误率）和 ImageNet-A（14.8% 错误率）上均达到最先进水平，且在多种模型架构和预训练方法下均表现出一致的性能提升，仅需少量微调周期即可实现。

ABSTRACT

We demonstrate that self-learning techniques like entropy minimization and pseudo-labeling are simple and effective at improving performance of a deployed computer vision model under systematic domain shifts. We conduct a wide range of large-scale experiments and show consistent improvements irrespective of the model architecture, the pre-training technique or the type of distribution shift. At the same time, self-learning is simple to use in practice because it does not require knowledge or access to the original training data or scheme, is robust to hyperparameter choices, is straight-forward to implement and requires only a few adaptation epochs. This makes self-learning techniques highly attractive for any practitioner who applies machine learning algorithms in the real world. We present state-of-the-art adaptation results on CIFAR10-C (8.5% error), ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error), theoretically study the dynamics of self-supervised adaptation methods and propose a new classification dataset (ImageNet-D) which is challenging even with adaptation.

研究动机与目标

• 评估自学习技术是否能在真实部署场景中，于系统性域偏移下提升模型性能。
• 研究自学习在源域数据不可用的无源域自适应设置下的有效性。
• 将自学习与现有测试时自适应方法（包括测试时训练和批归一化自适应）进行比较。
• 分析自学习在域偏移自适应中的超参数鲁棒性与设计选择。
• 提出一个新的基准数据集 ImageNet-D，用于评估模型在极端分布偏移下的鲁棒性。

提出的方法

• 作者在推理阶段对无标签的目标域数据应用熵最小化和伪标签法，利用模型预测作为伪标签来优化预测结果。
• 通过仅微调批量归一化层或最终分类头来实现自适应，最小化无标签目标样本预测结果的熵。
• 该方法在无源设置下应用：无需访问源域训练数据，使其在真实部署中更具实用性。
• 该方法在多种模型架构（如 ResNet50、BigTransfer）和预训练技术（如 ImageNet 预训练、自监督学习）上进行了评估。
• 通过调整学习率和微调周期数，对超参数进行了消融研究，以评估其鲁棒性与最优设置。
• 提出一个新的基准数据集 ImageNet-D，用于评估模型在极端分布偏移下的鲁棒性。

实验结果

研究问题

• RQ1 当无法访问源域训练数据时，熵最小化和伪标签等自学习技术是否能提升模型在系统性数据分布偏移下的性能？
• RQ2 在无源设置下，自学习与最先进的测试时自适应方法（如测试时训练和批归一化自适应）相比表现如何？
• RQ3 自学习带来的性能提升是否依赖于模型架构、预训练方法或分布偏移类型？
• RQ4 自学习方法对学习率和微调周期数等超参数的选择是否具有鲁棒性？
• RQ5 当在测试时应用时，自学习能否优于基于自学习的无监督域自适应（UDA）方法？

主要发现

• 自学习技术在 ImageNet-C 上实现了最先进性能，平均损坏错误率（mCE）为 22.0%，显著优于先前方法。
• 在 ImageNet-R 上，该方法将错误率降低至 17.4%，表明其对风格和物体类别偏移具有强大鲁棒性。
• 在 ImageNet-A 上，该方法实现 14.8% 的错误率，显示出在罕见和对抗性图像分布上的有效性。
• 自学习带来的性能增益在多种模型架构和预训练技术中保持一致，表明其具有广泛适用性。
• 熵最小化和伪标签法均带来显著性能提升，其中伪标签法（RPL）在大多数基准上优于熵最小化（ENT）。
• 该方法对超参数选择具有鲁棒性，仅需 1–7 个微调周期，使其在真实部署中具有实用性。