[论文解读] Geodesic Multi-Modal Mixup for Robust Fine-Tuning

Changdae Oh, Junhyuk So+5 more|arXiv (Cornell University)|Mar 8, 2022

Multimodal Machine Learning Applications被引用 11

一句话总结

本文提出了一种新颖的微调方法——测地线多模态Mixup（m²-Mix），通过在超球面上对图像和文本嵌入进行测地线插值，生成困难负样本，从而提升像CLIP这样的预训练多模态模型的鲁棒性和可迁移性。通过增强嵌入空间中的对齐性和均匀性，m²-Mix在分布偏移下的检索、少样本分类和图像字幕生成任务中均取得了最先进性能。

ABSTRACT

Pre-trained multi-modal models, such as CLIP, provide transferable embeddings and show promising results in diverse applications. However, the analysis of learned multi-modal embeddings is relatively unexplored, and the embedding transferability can be improved. In this work, we observe that CLIP holds separated embedding subspaces for two different modalities, and then we investigate it through the lens of uniformity-alignment to measure the quality of learned representation. Both theoretically and empirically, we show that CLIP retains poor uniformity and alignment even after fine-tuning. Such a lack of alignment and uniformity might restrict the transferability and robustness of embeddings. To this end, we devise a new fine-tuning method for robust representation equipping better alignment and uniformity. First, we propose a Geodesic Multi-Modal Mixup that mixes the embeddings of image and text to generate hard negative samples on the hypersphere. Then, we fine-tune the model on hard negatives as well as original negatives and positives with contrastive loss. Based on the theoretical analysis about hardness guarantee and limiting behavior, we justify the use of our method. Extensive experiments on retrieval, calibration, few- or zero-shot classification (under distribution shift), embedding arithmetic, and image captioning further show that our method provides transferable representations, enabling robust model adaptation on diverse tasks. Code: https://github.com/changdaeoh/multimodal-mixup

研究动机与目标

• 为解决像CLIP这样的预训练多模态模型中存在的对齐性差和均匀性差的问题，这些问题限制了其可迁移性和鲁棒性。
• 探究CLIP的双部嵌入空间结构局限性，其中图像和文本嵌入形成分离的子空间，存在大量未探索的间隙空间。
• 开发一种微调方法，通过在超球面嵌入空间中生成有意义的困难负样本，提升表示质量。
• 从理论和实证两方面证明在对比学习中对异质模态进行测地线插值的有效性。
• 在多样化的下游任务中验证该方法，包括少样本和零样本分类、检索以及图像字幕生成。

提出的方法

• 提出测地线多模态Mixup（m²-Mix），在L2归一化的图像和文本嵌入之间进行测地线插值，以在超球面上生成新的、多样化的负样本。
• 将混合后的嵌入作为对比学习中的困难负样本，明确提高负样本对的难度，从而改善对齐性。
• 采用对称对比损失，将标准CLIP对比损失与基于m²-Mix的对比损失相结合，联合优化对齐性和均匀性。
• 通过温度缩放下的极限行为分析，从理论上证明m²-Mix样本的难度，表明其收敛至最优对齐性和均匀性。
• 提出一种专为多模态对比学习设计的对齐性和均匀性新公式，实现对表示质量的定量分析。
• 通过测地线插值将混合嵌入约束在单位超球面上，确保稳定性和几何一致性。

实验结果

研究问题

• RQ1 CLIP的预训练嵌入空间是否由于其双部结构而导致对齐性和均匀性差，即使在微调后仍存在此问题？
• RQ2 在异质模态（图像与文本）之间进行测地线插值能否生成有效的困难负样本，从而改善对比学习？
• RQ3 所提出的m²-Mix方法是否能同时提升多模态表示学习中的对齐性和均匀性？
• RQ4 m²-Mix在分布偏移下对下游任务的可迁移性和鲁棒性提升程度如何？
• RQ5 与基于温度重加权或其它数据增强策略相比，m²-Mix在表示质量和泛化能力方面表现如何？

主要发现

• CLIP由于其双部嵌入结构导致对齐性和均匀性差，且此局限性在微调后依然存在，限制了其可迁移性。
• m²-Mix生成的困难负样本与正样本对高度相似，为对齐性学习提供了强有力的信号。
• 理论分析表明，在大批次设置下，m²-Mix渐近地最大化均匀性，收敛至最优均匀性行为。
• 大量实验证明，m²-Mix在零样本和少样本分类任务中表现更优，尤其在分布偏移下，优于标准微调和基于温度的基线方法。
• m²-Mix在检索和图像字幕生成基准上取得了最先进结果，表明其泛化能力和鲁棒性得到提升。
• 该方法通过引入虚拟的混合样本扩展了有效嵌入空间，从而增强了对分布外样本的鲁棒性。