[论文解读] Diverse Imagenet Models Transfer Better

Niv Nayman, Avram Golbert+3 more|arXiv (Cornell University)|Apr 19, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出，特征多样性与ImageNet准确率一样，是视觉模型迁移能力的关键因素。通过引入受控标签注入（CLI），作者生成了兼具高ImageNet准确率和高特征多样性的模型，从而得到校准分数（CIS），该分数在多种下游任务中对CNN和视觉Transformer的迁移性能预测效果优于仅使用准确率。

ABSTRACT

A commonly accepted hypothesis is that models with higher accuracy on Imagenet perform better on other downstream tasks, leading to much research dedicated to optimizing Imagenet accuracy. Recently this hypothesis has been challenged by evidence showing that self-supervised models transfer better than their supervised counterparts, despite their inferior Imagenet accuracy. This calls for identifying the additional factors, on top of Imagenet accuracy, that make models transferable. In this work we show that high diversity of the features learnt by the model promotes transferability jointly with Imagenet accuracy. Encouraged by the recent transferability results of self-supervised models, we propose a method that combines self-supervised and supervised pretraining to generate models with both high diversity and high accuracy, and as a result high transferability. We demonstrate our results on several architectures and multiple downstream tasks, including both single-label and multi-label classification.

研究动机与目标

• 识别超越ImageNet准确率的、可提升模型迁移能力的因素。
• 验证特征多样性是迁移性能的关键预测因子，尤其对自监督模型而言。
• 开发一种方法，实现预训练模型中准确率与多样性的可控权衡。
• 证明ImageNet准确率与特征多样性的乘积（CIS）相较于准确率本身，与迁移能力的相关性更强。
• 展示CLI生成的模型在多个下游任务中优于标准微调和混合预训练方法。

提出的方法

• 提出校准ImageNet分数（CIS），作为ImageNet准确率与特征多样性的乘积：CIS = ImageNet准确率 × 特征多样性。
• 提出受控标签注入（CLI），一种以受控方式将标签信息注入自监督预训练模型的方法，以调节特征多样性和准确率。
• 采用两种特征多样性的度量方式：(1) 类间特征方差，(2) 类内特征方差，用于衡量特征的多样性。
• 使用不同控制周期值（T）训练CLI模型，实现受监督信号的渐进注入，同时保持自监督不变性。
• 在14个单标签和多标签分类数据集（包括MS-COCO）上评估模型，通过线性探测和微调来衡量迁移能力。
• 将CLI生成的模型与标准监督、自监督及混合预训练基线模型进行比较，以隔离多样性与准确率的影响。

实验结果

研究问题

• RQ1 特征多样性是否在ImageNet准确率之外独立提升迁移能力？
• RQ2 一种平衡监督与自监督信号的混合预训练策略是否能提升迁移性能？
• RQ3 是否存在一个最优的准确率与特征多样性之间的权衡，以最大化迁移能力？
• RQ4 与CKA或类别分离等指标相比，校准ImageNet分数（CIS）在预测迁移性能方面表现如何？
• RQ5 受控标签注入（CLI）能否生成兼具高准确率与高多样性的模型，从而实现更好的下游性能？

主要发现

• 校准ImageNet分数（CIS）——即ImageNet准确率与特征多样性的结合——与迁移能力的相关性显著优于仅使用ImageNet准确率。
• 通过CLI生成的模型在迁移性能上优于标准监督或自监督模型，即使ImageNet准确率相近。
• 在MS-COCO多标签分类基准上，CLI生成的模型在top-1准确率上比基线模型最高提升3.5%。
• 对于使用MAE预训练的ViT模型，CLI在提升ImageNet准确率的同时保持了高特征多样性，从而提高了CIS与迁移能力。
• 对于DINO预训练的ViT模型，CLI同时提升了准确率与多样性；在T=2和T=1时，模型准确率相同，但因多样性差异导致迁移能力不同。
• CIS指标在不同架构（ResNets与ViTs）、预训练方法（MoCo-v2、SimCLR、SwAV、DINO、MAE）和下游任务中均能成功识别高性能模型。