[论文解读] A Simple Long-Tailed Recognition Baseline via Vision-Language Model

Teli Ma, Shijie Geng+6 more|arXiv (Cornell University)|Nov 29, 2021

Multimodal Machine Learning Applications参考文献 40被引用 10

一句话总结

该论文提出BALLAD，一种简单而有效的长尾识别基线方法，通过先在长尾数据上继续预训练对比视觉-语言模型，再在均衡样本上使用线性适配器进行微调，从而利用视觉-语言模型的优势。该方法在ImageNet-LT上使用ResNet-50 ×16达到76.5%的top-1准确率，性能超越先前方法高达7.2%，达到当前最先进水平。

ABSTRACT

The visual world naturally exhibits a long-tailed distribution of open classes, which poses great challenges to modern visual systems. Existing approaches either perform class re-balancing strategies or directly improve network modules to address the problem. However, they still train models with a finite set of predefined labels, limiting their supervision information and restricting their transferability to novel instances. Recent advances in large-scale contrastive visual-language pretraining shed light on a new pathway for visual recognition. With open-vocabulary supervisions, pretrained contrastive vision-language models learn powerful multimodal representations that are promising to handle data deficiency and unseen concepts. By calculating the semantic similarity between visual and text inputs, visual recognition is converted to a vision-language matching problem. Inspired by this, we propose BALLAD to leverage contrastive vision-language models for long-tailed recognition. We first continue pretraining the vision-language backbone through contrastive learning on a specific long-tailed target dataset. Afterward, we freeze the backbone and further employ an additional adapter layer to enhance the representations of tail classes on balanced training samples built with re-sampling strategies. Extensive experiments have been conducted on three popular long-tailed recognition benchmarks. As a result, our simple and effective approach sets the new state-of-the-art performances and outperforms competitive baselines with a large margin. Code is released at https://github.com/gaopengcuhk/BALLAD.

研究动机与目标

• 解决视觉识别中长尾数据分布带来的挑战，即头部类别主导而尾部类别因数据稀缺而表现不佳。
• 探究语言模态是否能提供互补监督，以改善低资源类别的表征学习。
• 克服以往方法仅依赖视觉模态和固定标签集的局限性，这些限制阻碍了对新类别或稀有类别的泛化能力。
• 开发一种简单而有效的基线方法，利用视觉-语言模型的开放词汇能力，提升少样本和零样本泛化性能。
• 在无需复杂架构或大量超参数调优的前提下，提升长尾基准测试的性能。

提出的方法

• 在长尾目标数据集上继续预训练视觉-语言主干网络（如CLIP），采用对比学习方法，使多模态表征适应新领域。
• 在预训练完成后冻结视觉-语言主干网络，以保留学习到的表征，同时引入可学习的线性适配器进行微调。
• 在阶段B中应用类别均衡采样，构建均衡的训练数据，确保适配器训练期间所有类别均得到均衡表示。
• 使用残差因子λ控制原始CLIP特征与适配器学习特征之间的权衡，以优化尾部类别性能。
• 在均衡样本上使用交叉熵损失训练适配器，使模型能够专门针对低资源类别优化视觉特征。
• 将训练过程解耦为两个阶段：阶段A通过对比预训练实现领域适应，阶段B通过适配器微调实现类别特定优化。

实验结果

研究问题

• RQ1 视觉-语言模型能否提供有效的开放词汇监督，以提升在长尾数据集上的识别性能？
• RQ2 与标准微调相比，在长尾数据上继续预训练是否能提升表征学习效果？
• RQ3 引入可学习的适配器层如何影响尾部类别的性能，同时不降低头部类别的准确率？
• RQ4 最优的训练数据平衡策略是什么——在训练流程的哪个阶段和位置应应用重采样？
• RQ5 在长尾识别背景下，哪种采样策略（类别均衡、平方根、混合均衡）能在泛化能力和收敛性之间取得最佳平衡？

主要发现

• BALLAD在使用ResNet-50 ×16主干网络的ImageNet-LT基准上实现了76.5%的全新SOTA top-1准确率，超越先前方法高达7.2%。
• 模型显著提升了少样本性能，在ImageNet-LT的少样本子集上达到59.5%的准确率，展现出对低资源类别的强大泛化能力。
• 使用线性适配器并配合残差因子λ ≈ 0.2可获得最优性能，表明预训练后仅需少量、均衡的微调即可实现最佳效果。
• 仅在阶段B（适配器训练）应用平衡策略的效果优于在阶段A中应用，有助于保持头部类别的强表征能力。
• 在阶段B中采用类别均衡采样策略可获得最佳整体性能，优于平方根采样和混合均衡采样策略。
• 该方法实现了强大的零样本泛化能力：CLIP在ImageNet-LT上的零样本性能（58.2%）已具竞争力，而BALLAD进一步显著提升该性能。