[论文解读] No Reason for No Supervision: Improved Generalization in Supervised Models

Mert Bülent Sarıyıldız, Yannis Kalantidis+2 more|arXiv (Cornell University)|Jun 30, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了一种监督训练设置，通过结合多尺度数据增强与可弃用的投影头及在线类别原型计算，提升了深度神经网络的泛化能力。该方法生成了 t-ReX 和 t-ReX*，在 ImageNet-1K 分类任务（80.2% 的 top-1 准确率）和迁移学习任务（13 项任务的平均迁移准确率为 76.2%）上均取得了当前最优性能，优于以往的监督、自监督和半监督模型。

ABSTRACT

We consider the problem of training a deep neural network on a given classification task, e.g., ImageNet-1K (IN1K), so that it excels at both the training task as well as at other (future) transfer tasks. These two seemingly contradictory properties impose a trade-off between improving the model's generalization and maintaining its performance on the original task. Models trained with self-supervised learning tend to generalize better than their supervised counterparts for transfer learning; yet, they still lag behind supervised models on IN1K. In this paper, we propose a supervised learning setup that leverages the best of both worlds. We extensively analyze supervised training using multi-scale crops for data augmentation and an expendable projector head, and reveal that the design of the projector allows us to control the trade-off between performance on the training task and transferability. We further replace the last layer of class weights with class prototypes computed on the fly using a memory bank and derive two models: t-ReX that achieves a new state of the art for transfer learning and outperforms top methods such as DINO and PAWS on IN1K, and t-ReX* that matches the highly optimized RSB-A1 model on IN1K while performing better on transfer tasks. Code and pretrained models: https://europe.naverlabs.com/t-rex

研究动机与目标

• 为解决在原始监督任务上高性能与在下游迁移任务中强泛化能力之间的权衡问题。
• 探究为何尽管在 ImageNet-1K 上表现优异，监督模型在迁移学习中常表现不如自监督模型。
• 识别并利用自监督学习中的关键组件——特别是多作物增强和可弃用的投影头——以提升可迁移性，同时不损害原始任务的准确率。
• 开发一种内存高效的在线类别原型计算方法，以提升表示质量。

提出的方法

• 引入一种使用多尺度裁剪进行数据增强的监督训练设置，以提升特征的不变性与泛化能力。
• 在编码器后使用一个可弃用的投影头，推理时丢弃，以鼓励解耦且可迁移的特征表示。
• 用通过内存队列计算的在线类别原型替换最终的分类器层，实现在训练过程中动态、内存高效的原型更新。
• 使用在原始 ImageNet-1K 训练集上训练的线性分类器头来评估迁移性能。
• 采用标准的监督学习与交叉熵损失，同时将最终层修改为使用原型而非固定类别权重。
• 对多作物增强、投影头设计和原型计算对 IN1K 准确率与迁移性能的影响进行了广泛的消融实验。

实验结果

研究问题

• RQ1 多尺度裁剪增强在多大程度上影响了监督模型在域内准确率与可迁移性之间的权衡？
• RQ2 可弃用投影头的设计在多大程度上影响了监督模型的泛化能力？
• RQ3 在线类别原型计算是否能在不降低域内准确率的前提下提升迁移性能？
• RQ4 为何某些能提升 ImageNet-1K 准确率的正则化技术反而会降低可迁移性？这一问题如何缓解？
• RQ5 能否通过一种监督训练设置，同时在 ImageNet-1K 和迁移学习基准上实现当前最优性能？

主要发现

• t-ReX 在 13 项下游任务上的平均迁移准确率达到 76.2%，创下新 SOTA 水平，优于 DINO（69.9%）和 PAWS（71.6%）。
• t-ReX* 在 ImageNet-1K 上达到 80.2% 的 top-1 准确率，超过 RSB-A1 模型（79.8%），在该基准上为监督模型设定了新的 SOTA。
• 采用在线类别原型与多作物增强的模型在 DTD 数据集上表现出显著更低的特征冗余性（最高降低 0.15），表明其表示更高效。
• 可弃用的投影头设计使模型能够控制 IN1K 准确率与可迁移性之间的性能权衡，消融实验表明其在不损害域内性能的前提下提升了泛化能力。
• t-ReX 和 t-ReX* 在长尾数据集 iNaturalist 2018 和 2019 上也保持了强劲性能，t-ReX 分别取得 45.8% 和 54.2% 的 top-1 准确率，优于 RSB-A1 和 DINO。
• 可视化结果表明，t-ReX* 的原型更具语义一致性，其最近邻样本（如 'goldfish' 和 'tropical fish'）在语义上相关且合理。