[论文解读] Large-scale Bilingual Language-Image Contrastive Learning

Byungsoo Ko, Geonmo Gu|arXiv (Cornell University)|Mar 28, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出 KELIP，一种在 11 亿组韩英图文对上训练的大规模双语多模态模型，不依赖机器翻译。通过掩码自编码器（MAE）预训练和多尺度增强，KELIP 在两种语言中均展现出强大的零样本性能，证明其具备学习跨语言语义对齐、捕捉视觉语义中的文化差异以及实现多模态特征类比的能力。

ABSTRACT

This paper is a technical report to share our experience and findings building a Korean and English bilingual multimodal model. While many of the multimodal datasets focus on English and multilingual multimodal research uses machine-translated texts, employing such machine-translated texts is limited to describing unique expressions, cultural information, and proper noun in languages other than English. In this work, we collect 1.1 billion image-text pairs (708 million Korean and 476 million English) and train a bilingual multimodal model named KELIP. We introduce simple yet effective training schemes, including MAE pre-training and multi-crop augmentation. Extensive experiments demonstrate that a model trained with such training schemes shows competitive performance in both languages. Moreover, we discuss multimodal-related research questions: 1) strong augmentation-based methods can distract the model from learning proper multimodal relations; 2) training multimodal model without cross-lingual relation can learn the relation via visual semantics; 3) our bilingual KELIP can capture cultural differences of visual semantics for the same meaning of words; 4) a large-scale multimodal model can be used for multimodal feature analogy. We hope that this work will provide helpful experience and findings for future research. We provide an open-source pre-trained KELIP.

研究动机与目标

• 开发一种高性能的韩英双语多模态模型，避免因使用机器翻译文本而引入的偏差。
• 探究仅通过共享视觉表征而无需显式跨语言预训练，是否能促使跨语言语义对齐的出现。
• 探索双语多模态模型如何捕捉视觉语义中的文化差异。
• 评估大规模多模态模型在多模态特征类比任务中的潜力。
• 分享构建大规模多语言视觉-语言模型的实际见解与训练方案。

提出的方法

• 收集 11 亿组图文对（7.08 亿组韩语，4.76 亿组英语），使用母语文本而非机器翻译。
• 采用掩码自编码器（MAE）预训练以提升视觉表征学习能力。
• 应用多尺度数据增强以提高模型的鲁棒性与泛化能力。
• 使用对比学习方法，将图像与文本嵌入对齐于共享嵌入空间。
• 训练独立的视觉与语言编码器，通过对比目标最小化匹配图文对之间的距离。
• 利用 KELIP 引导的扩散模型进行文本到图像生成，以分析文化视觉偏差。

实验结果

研究问题

• RQ1 如颜色抖动等强视觉增强技术是否会干扰模型学习正确的视觉-文本关系？
• RQ2 在未显式进行跨语言预训练的情况下，多模态模型是否仍能通过共享视觉语义学习到有意义的跨语言语义关系？
• RQ3 像 KELIP 这类双语模型能否捕捉到不同语言中相同语义概念所对应的文化特异性视觉表征？
• RQ4 大规模多模态模型能否执行多模态特征类比任务，例如结合图像与文本特征实现检索？

主要发现

• 如颜色抖动等强视觉增强技术可能干扰模型学习准确的视觉-文本对齐能力。
• 即使未进行显式跨语言预训练，模型仍能通过共享视觉表征学习到有意义的跨语言语义关系，表现为英文与韩文语义等价句子在嵌入空间中具有较高的余弦相似度。
• KELIP 能够捕捉到具有文化特异性的视觉语义——例如，西方早餐通常包含鸡蛋与面包，而韩式早餐则强调米饭与汤，证明其在视觉生成中具备文化意识。
• 该模型成功实现了多模态特征类比：通过加权融合图像与文本特征，可基于组合语义实现准确的图像检索。
• KELIP 在下游任务中于韩语与英语上均实现了具有竞争力的零样本性能，验证了其双语泛化能力。
• 模型能够根据同一语义提示（如“幽灵”或“传统婚礼”）生成具有语言特异性视觉风格的图像，证实其对语言相关视觉规范的高度敏感性。