[论文解读] Cross-View Language Modeling: Towards Unified Cross-Lingual Cross-Modal Pre-training

Yan Zeng, Wangchunshu Zhou+3 more|arXiv (Cornell University)|Jun 1, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出跨视角语言建模（CCLM），一种统一的预训练框架，通过共享架构和目标，联合优化跨语言与跨模态表征学习。通过将图文对与平行语句对视为同一潜在概念的两种视图，CCLM利用条件掩码语言建模与对比学习最大化互信息，实现了在IGLUE上的SOTA性能，准确率绝对提升超过10%，并在零样本跨语言迁移中首次超越翻译测试基线。

ABSTRACT

In this paper, we introduce Cross-View Language Modeling, a simple and effective pre-training framework that unifies cross-lingual and cross-modal pre-training with shared architectures and objectives. Our approach is motivated by a key observation that cross-lingual and cross-modal pre-training share the same goal of aligning two different views of the same object into a common semantic space. To this end, the cross-view language modeling framework considers both multi-modal data (i.e., image-caption pairs) and multi-lingual data (i.e., parallel sentence pairs) as two different views of the same object, and trains the model to align the two views by maximizing the mutual information between them with conditional masked language modeling and contrastive learning. We pre-train CCLM, a Cross-lingual Cross-modal Language Model, with the cross-view language modeling framework. Empirical results on IGLUE, a multi-lingual multi-modal benchmark, and two multi-lingual image-text retrieval datasets show that while conceptually simpler, CCLM significantly outperforms the prior state-of-the-art with an average absolute improvement of over 10%. Moreover, CCLM is the first multi-lingual multi-modal pre-trained model that surpasses the translate-test performance of representative English vision-language models by zero-shot cross-lingual transfer.

研究动机与目标

• 为解决现有模型在多语言多模态预训练中表现低于简单翻译测试基线的问题。
• 在单一框架下统一跨语言与跨模态预训练，共享模型架构与训练目标。
• 利用丰富的平行语句对与图文对作为同一语义内容的两种不同视图，实现联合表征对齐。
• 在无需语言特定微调的情况下，实现卓越的零样本跨语言迁移性能。
• 在大规模、多样化的多语言多模态数据上展示可扩展性与有效性。

提出的方法

• CCLM将多模态数据（图文对）与多语言数据（平行语句对）视为同一潜在对象的两种不同视图。
• 模型使用共享的交叉注意力Transformer，将两种视图的表征融合到同一语义空间。
• 通过结合条件掩码语言建模、对比学习与匹配目标的统一目标函数进行训练，以最大化视图间的互信息。
• 该框架对跨语言与跨模态任务均使用单一共享架构，无需任务特定模块或独立参数化。
• 预训练在CC3M（图文数据）与WikiMatrix（平行语句）上进行，模型权重初始化自在大规模英语数据上预训练的X2-VLM。
• 统一目标函数在性能上优于先前工作（如M3P与UC2）所采用的独立目标函数，尤其在多语言理解任务中表现更优。

实验结果

研究问题

• RQ1 一个统一的预训练框架能否通过共享架构与目标，有效对齐跨语言与跨模态表征？
• RQ2 与仅使用单语言掩码相比，利用平行语句对是否能显著提升多语言多模态预训练性能？
• RQ3 统一模型能否在零样本跨语言迁移中超越翻译测试基线，适用于视觉-语言任务？
• RQ4 与任务特定设计相比，共享架构与统一目标在性能与可扩展性方面表现如何？
• RQ5 该框架在多大规模预训练数据与更大模型尺寸下能获得多大程度的收益？

主要发现

• 与先前SOTA模型相比，CCLM在IGLUE（多语言多模态基准）上实现了平均超过10%的绝对准确率提升。
• 在图文检索任务中，CCLM在两个多语言数据集上的R@1指标提升超过10%，展现出强大的零样本迁移能力。
• CCLM是首个在零样本跨语言迁移中超越翻译测试基线的多语言多模态模型，标志着该领域的重要里程碑。
• 消融实验证实，平行语句对对性能至关重要，且统一目标与共享架构显著优于独立设计。
• 模型展现出强大的可扩展性，预训练数据规模与模型尺寸越大，性能提升越明显。
• 可视化结果表明，CCLM在对齐多语言与多模态表征方面优于基线模型。