[论文解读] CWCL: Cross-Modal Transfer with Continuously Weighted Contrastive Loss

Rakshith Sharma Srinivasa, Jaejin Cho+5 more|arXiv (Cornell University)|Sep 26, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出连续加权对比损失（CWCL），一种新型对比学习目标，将跨模态数据之间的相似性建模为连续而非二值化的度量。通过利用批次中所有相似样本（而不仅正/负样本对），CWCL 提升了零样本迁移性能，在图像分类任务中实现6–8%的绝对性能提升，在语音转意图和关键词分类任务中实现20–30%的提升，优于先前的最先进方法。

ABSTRACT

This paper considers contrastive training for cross-modal 0-shot transfer wherein a pre-trained model in one modality is used for representation learning in another domain using pairwise data. The learnt models in the latter domain can then be used for a diverse set of tasks in a zero-shot way, similar to ``Contrastive Language-Image Pre-training (CLIP)'' and ``Locked-image Tuning (LiT)'' that have recently gained considerable attention. Most existing works for cross-modal representation alignment (including CLIP and LiT) use the standard contrastive training objective, which employs sets of positive and negative examples to align similar and repel dissimilar training data samples. However, similarity amongst training examples has a more continuous nature, thus calling for a more `non-binary' treatment. To address this, we propose a novel loss function called Continuously Weighted Contrastive Loss (CWCL) that employs a continuous measure of similarity. With CWCL, we seek to align the embedding space of one modality with another. Owing to the continuous nature of similarity in the proposed loss function, these models outperform existing methods for 0-shot transfer across multiple models, datasets and modalities. Particularly, we consider the modality pairs of image-text and speech-text and our models achieve 5-8% (absolute) improvement over previous state-of-the-art methods in 0-shot image classification and 20-30% (absolute) improvement in 0-shot speech-to-intent classification and keyword classification.

研究动机与目标

• 为解决标准对比学习在跨模态对齐过程中从预训练模型中提取完整监督信息的低效问题。
• 通过利用预训练文本模型，提升语音和医学影像等低资源模态的零样本迁移性能。
• 开发一种损失函数，捕捉跨模态对之间相似性的连续特性，而非将其视为二值化（正/负）处理。
• 在包括图像-文本和语音-文本在内的多种模态对上，验证所提方法的有效性。
• 通过最大化现有配对数据的监督信号，实现数据与计算效率的训练。

提出的方法

• 提出一种连续加权对比损失（CWCL），根据负样本与锚样本的相似性动态分配权重。
• 使用相似性函数计算锚样本与批次中所有其他样本之间的连续相似性得分，取代传统的正/负样本二值区分。
• 应用温度缩放和可学习参数校准加权函数，使模型能够自适应地聚焦于最具信息量的相似样本。
• 端到端训练文本编码器，同时冻结预训练的图像或语音编码器，以保留源模态的知识。
• 采用基于模板的类别嵌入生成方法，用于零样本意图和关键词分类，提升与预训练文本表示的对齐性。
• 使用随机梯度下降优化损失，采用批次级别的对比目标，考虑批次中所有样本。

实验结果

研究问题

• RQ1 连续相似性度量是否能在零样本跨模态迁移中超越标准对比学习？
• RQ2 在图像-文本和语音-文本对齐任务中，CWCL相较于标准对比损失表现如何？
• RQ3 CWCL在保持或提升性能的同时，能在多大程度上减少数据与计算需求？
• RQ4 CWCL是否能在不同模态对之间泛化，包括标注数据有限的模态对？
• RQ5 在低资源语音任务中，CWCL能否实现与全监督模型相当的性能？

主要发现

• 与最佳基线相比，CWCL在零样本图像分类准确率上实现了6–8%的绝对提升，RoBERTa+S模型在SLURP数据集上达到63.80%的准确率。
• 在STOP数据集上，CWCL将零样本语音转意图分类准确率提升了20–30%，达到87.87%的准确率（RoBERTa+S模型）。
• 在GSCV2数据集的关键词检测任务中，CWCL在无模板情况下达到81.02%准确率，在使用模板的类别嵌入时达到82.77%，优于基线模型。
• 采用CWCL的BART模型在GSCV2数据集上使用模板时达到89.43%准确率，接近使用任务特定训练数据的监督基线。
• 使用更少数据样本训练的CWCL模型性能优于标准对比学习，展现出数据效率。
• 该方法在无需任何任务特定微调的情况下，实现了接近监督性能（例如，使用模板时在GSCV2上达到98.2%），凸显其零样本泛化能力。