[论文解读] Learning Visual Representation from Modality-Shared Contrastive Language-Image Pre-training

Haoxuan You, Luowei Zhou+6 more|arXiv (Cornell University)|Jul 26, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出模态共享对比语言-图像预训练（MS-CLIP），一种基于统一Transformer架构的方法，在对比预训练过程中使视觉与语言编码器共享大部分参数。通过在模态间共享自注意力和前馈网络权重，同时使用轻量级模态特定模块，MS-CLIP在参数更少的情况下，相比基线CLIP在零样本ImageNet准确率上实现了13%的相对提升，同时增强了模态间语义结构的一致性。

ABSTRACT

Large-scale multi-modal contrastive pre-training has demonstrated great utility to learn transferable features for a range of downstream tasks by mapping multiple modalities into a shared embedding space. Typically, this has employed separate encoders for each modality. However, recent work suggests that transformers can support learning across multiple modalities and allow knowledge sharing. Inspired by this, we investigate a variety of Modality-Shared Contrastive Language-Image Pre-training (MS-CLIP) frameworks. More specifically, we question how many parameters of a transformer model can be shared across modalities during contrastive pre-training, and rigorously examine architectural design choices that position the proportion of parameters shared along a spectrum. In studied conditions, we observe that a mostly unified encoder for vision and language signals outperforms all other variations that separate more parameters. Additionally, we find that light-weight modality-specific parallel modules further improve performance. Experimental results show that the proposed MS-CLIP approach outperforms vanilla CLIP by up to 13\% relative in zero-shot ImageNet classification (pre-trained on YFCC-100M), while simultaneously supporting a reduction of parameters. In addition, our approach outperforms vanilla CLIP by 1.6 points in linear probing on a collection of 24 downstream vision tasks. Furthermore, we discover that sharing parameters leads to semantic concepts from different modalities being encoded more closely in the embedding space, facilitating the transferring of common semantic structure (e.g., attention patterns) from language to vision. Code is available at \href{https://github.com/Hxyou/MSCLIP}{URL}.

研究动机与目标

• 探究在对比预训练中共享视觉与语言编码器之间Transformer参数的可行性及其性能影响。
• 确定哪些组件（例如注意力、归一化、嵌入）应共享或保持模态特定以实现最佳性能。
• 评估轻量级模态特定模块是否可通过平衡跨模态泛化与模态特异性专长来提升性能。
• 分析参数共享是否能促进视觉与语言模态之间语义结构（如注意力模式）的一致性。

提出的方法

• 提出一种模态共享的对比预训练框架（MS-CLIP），其中视觉与语言编码器之间共享大多数Transformer组件——自注意力和前馈网络。
• 识别出输入嵌入、层归一化和输出投影应保持模态特定，而所有Transformer层均可共享。
• 引入两种辅助设计：早期专长（用模态特定的CNN和一个Transformer层替换首个Transformer块）和高效并行分支（通过深度可分离卷积适配器为视觉分支添加轻量级多尺度CNN）。
• 在大规模图像-文本数据集（YFCC-100M 和 Laion-400M）上使用对比损失预训练统一模型。
• 通过基于视觉与文本概念间注意力模式相似性的公共语义结构（CSC）距离度量，衡量跨模态语义对齐程度。
• 可视化共享注意力头，以证明模态间共指学习的存在，例如同时关注图像中的“cat”和文本中的“cats”。

实验结果

研究问题

• RQ1 在每个Transformer层内，哪些子模块应在视觉与语言编码器之间共享以最大化性能？
• RQ2 在对比预训练设置中，视觉与语言编码器之间的层共享程度应如何最优配置？
• RQ3 轻量级模态特定组件是否可通过适应模态特异性特征而不破坏参数共享来提升性能？
• RQ4 参数共享在多大程度上能对齐视觉与语言模态之间的语义结构（如注意力模式）？

主要发现

• MS-CLIP在YFCC-100M上预训练后，尽管参数更少，在零样本ImageNet分类任务中相比基线CLIP实现了13%的相对准确率提升。
• 在24项下游视觉任务上的线性探测准确率相比基线CLIP提升了1.6个百分点。
• 共享所有Transformer层（包括自注意力和前馈权重）的性能优于选择性层共享或基于神经架构搜索的策略。
• 所提出的早期专长和辅助并行分支模块通过实现早期模态特定抽象和增强的空间建模进一步提升了性能。
• MS-CLIP中的公共语义结构（CSC）距离显著降低，表明共享参数促进了模态间更相似的注意力模式。
• 可视化结果证实，共享注意力头学习到了共指关系，例如同时关注图像中的“cat”和文本中的“cats”，展示了跨模态对齐。