[论文解读] iCAR: Bridging Image Classification and Image-text Alignment for Visual Recognition

Yixuan Wei, Yue Cao+5 more|arXiv (Cornell University)|Apr 22, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

该论文提出 iCAR，一种深度融合框架，通过用余弦分类器替代线性分类器、使用共享文本编码器作为元网络生成分类器权重，并通过描述性提示丰富类别名称，将图像分类与图像-文本对齐统一起来。该方法在图像分类、动作识别、目标检测和语义分割任务中，在零样本、少样本和微调设置下均实现了最先进性能，优于单独任务学习和浅层多任务基线模型。

ABSTRACT

Image classification, which classifies images by pre-defined categories, has been the dominant approach to visual representation learning over the last decade. Visual learning through image-text alignment, however, has emerged to show promising performance, especially for zero-shot recognition. We believe that these two learning tasks are complementary, and suggest combining them for better visual learning. We propose a deep fusion method with three adaptations that effectively bridge two learning tasks, rather than shallow fusion through naive multi-task learning. First, we modify the previous common practice in image classification, a linear classifier, with a cosine classifier which shows comparable performance. Second, we convert the image classification problem from learning parametric category classifier weights to learning a text encoder as a meta network to generate category classifier weights. The learnt text encoder is shared between image classification and image-text alignment. Third, we enrich each class name with a description to avoid confusion between classes and make the classification method closer to the image-text alignment. We prove that this deep fusion approach performs better on a variety of visual recognition tasks and setups than the individual learning or shallow fusion approach, from zero-shot/few-shot image classification, such as the Kornblith 12-dataset benchmark, to downstream tasks of action recognition, semantic segmentation, and object detection in fine-tuning and open-vocabulary settings. The code will be available at https://github.com/weiyx16/iCAR.

研究动机与目标

• 为解决孤立图像分类与图像-文本对齐的局限性，通过统一其在视觉表征学习中的优势。
• 利用图像-文本对齐的丰富语义，克服图像分类的缺点，如类别覆盖有限和类别名称模糊。
• 通过对齐对比预训练的开放词汇能力，提升零样本和少样本泛化能力。
• 通过联合优化视觉和文本编码器，实现下游任务的有效微调，尤其适用于开放词汇识别。
• 证明深度融合优于浅层多任务学习，在多种视觉基准上均取得更优性能。

提出的方法

• 将图像分类中的标准线性分类器替换为余弦分类器，其性能与线性分类器相当或更优，同时支持与图像-文本对齐共享度量空间。
• 将图像分类重新表述为学习一个作为元网络的文本编码器以生成类别分类器权重，从而实现共享表征空间。
• 通过添加描述性句子（例如：'一张夜间鸟类的照片，任何与夜晚相关的鸟类：猫头鹰、夜莺、夜鹰'）来丰富每个类别名称，以提升语义清晰度，并使输入粒度与图像-文本对齐对齐。
• 在图像分类和图像-文本对比学习中均使用共享视觉与文本编码器，两者均以余弦相似度作为度量标准。
• 在下游任务中联合微调视觉和文本编码器，以更好地适应开放词汇和细粒度分类。
• 采用多尺度训练策略和余弦学习率衰减，用于在 LVIS、COCO 及其他检测基准上进行微调。

实验结果

研究问题

• RQ1 深度融合图像分类与图像-文本对齐是否能在视觉识别任务中超越单独学习或浅层多任务学习？
• RQ2 用余弦分类器替代线性分类器，并使用共享文本编码器作为元网络，是否能提升零样本和少样本泛化能力？
• RQ3 通过描述性提示丰富类别名称，在多大程度上能减少歧义并改善与图像-文本学习的对齐？
• RQ4 在开放词汇设置下，视觉和文本编码器的联合微调在目标检测和动作识别等下游任务中有多高效？
• RQ5 该统一框架是否能在不依赖额外标注的情况下，实现与完全监督微调相当的性能？

主要发现

• 在 Kornblith 12 个数据集基准上，iCAR 实现了最先进的零样本和少样本准确率，优于 CLIP 和 VL-Laion。
• 在 Kinetics-400 上，iCAR 在联合微调视觉与文本编码器后达到 83.2% 的 top-1 准确率，与仅微调视觉编码器的标准微调方法（83.1%）性能相当。
• 在 Kinetics-600 上，iCAR 在 K400 上微调后达到 59.5% 的 top-1 准确率，相比零样本基线提升 15.8%，展现出强大的开放词汇泛化能力。
• 在 COCO 上，iCAR 在无任何标注的情况下实现 41.2 mAP 的开放词汇目标检测性能，仅比使用 ImageNet-22K 预训练的完全监督微调低 7.4 分。
• 在 LVIS 上，iCAR 实现 38.5 mAP，比基线高出 +0.6 mAP，表明在长尾、细粒度识别任务中性能也得到提升。
• 在 UCF101 和 HMDB51 上，iCAR 分别将零样本性能提升 +11.6% 和 +4.2%，证实了其在动作识别基准间的强大迁移能力。