[论文解读] Contrastive Language-Image Pre-training for the Italian Language

Federico Bianchi, Giuseppe Attanasio+4 more|arXiv (Cornell University)|Aug 19, 2021

Linguistic Studies and Language Acquisition参考文献 15被引用 21

一句话总结

本论文提出了 CLIP-Italian，这是首个通过140万张图像-文本对针对意大利语进行微调的对比语言-图像预训练模型。通过在预训练视觉和文本编码器上应用语言特定的微调，CLIP-Italian 在零样本图像分类和图像检索任务中表现优于多语言 CLIP 模型，尽管数据和计算资源有限，仍展现出卓越性能。

ABSTRACT

CLIP (Contrastive Language-Image Pre-training) is a very recent multi-modal model that jointly learns representations of images and texts. The model is trained on a massive amount of English data and shows impressive performance on zero-shot classification tasks. Training the same model on a different language is not trivial, since data in other languages might be not enough and the model needs high-quality translations of the texts to guarantee a good performance. In this paper, we present the first CLIP model for the Italian Language (CLIP-Italian), trained on more than 1.4 million image-text pairs. Results show that CLIP-Italian outperforms the multilingual CLIP model on the tasks of image retrieval and zero-shot classification.

研究动机与目标

• 开发一个高性能、语言特定的对比语言-图像预训练模型，专用于意大利语。
• 通过创建专门的意大利语变体，弥合单语和多语言 CLIP 模型之间的性能差距。
• 构建并发布目前公开可用的最大多模态意大利语数据集，包含 140 万张图像-标题配对。
• 证明语言特定的 CLIP 模型在下游任务中可超越其多语言对应模型。
• 为研究社区提供透明、可访问且可复现的模型和演示。

提出的方法

• 通过使用经过筛选的、包含 140 万张意大利语图像-文本对的多语言数据集，对预训练的 CLIP 架构进行微调，调整视觉和文本编码器。
• 整合来自四个来源的数据：WIT（基于维基百科）、MSCOCO-IT（翻译后的 MSCOCO）、Conceptual Captions，以及一个全新的意大利语网络爬取数据集。
• 应用提示工程，使用标准化模板：'A photo of {caption}'，以确保零样本分类任务中输入文本的一致性。
• 使用对比损失进行模型训练，将图像和文本嵌入对齐于共享的 512 维空间。
• 利用 Hugging Face 和 Google Cloud TPUs 进行训练，模型权重和推理演示已公开发布。
• 在零样本图像分类（ImageNet-1000）和图像检索（Unsplash25K）任务上评估性能。

实验结果

研究问题

• RQ1 微调后的语言特定 CLIP 模型是否能在意大利语的零样本图像分类和检索任务中超越多语言 CLIP 模型？
• RQ2 在 140 万张意大利语图像-文本对上训练的 CLIP 模型，其性能与原始英文 CLIP 和多语言 CLIP 相比如何？
• RQ3 微调后的 CLIP 模型在理解复杂或模糊的意大利语视觉描述方面存在哪些局限性和偏见？
• RQ4 在低资源语言如意大利语中，提示工程在多大程度上影响零样本分类的准确率？
• RQ5 在仅使用有限非英文数据的情况下，模型能否实现与在大规模英文数据集上训练的模型相媲美的性能？

主要发现

• 在 ImageNet-1000 的零样本图像分类任务中，CLIP-Italian 的 top-1 准确率达到 22.11%，优于多语言 CLIP 模型的 20.15%。
• 在同一基准测试中，CLIP-Italian 的 top-5 准确率为 43.69%，而 mCLIP 为 36.75%。
• 在 Unsplash25K 数据集的图像检索任务中，CLIP-Italian 能够正确检索出如 'due cani sulla neve'（雪地上的两只狗）等查询的相关图像，展现出有效的语义与视觉对齐能力。
• 该模型在数值推理方面表现中等，能够正确识别场景中最多三个不同或重复的物体，但当物体数量超过三个时性能显著下降。
• 定性分析揭示了模型的偏见，例如将 'un topolino'（一只小老鼠）与一只小刺猬关联，表明其可能习得了刻板印象或数据偏见。
• 尽管仅使用 140 万对数据（相比原始 CLIP 的 4 亿对），CLIP-Italian 仍实现了意大利语领域的最先进性能，表明语言特定微调具有极高的效率和有效性。