[论文解读] FILIP: Fine-grained Interactive Language-Image Pre-Training

Lewei Yao, Runhui Huang+8 more|arXiv (Cornell University)|Nov 9, 2021

Multimodal Machine Learning Applications参考文献 29被引用 205

一句话总结

FILIP 引入了一种细粒度的跨模态后期交互，使用逐-token 的最大相似度进行图文对齐，在离线预计算和一个新的 3 亿对图文数据集 FILIP300M 的支持下，实现了强劲的零-shot 与检索性能。

ABSTRACT

Unsupervised large-scale vision-language pre-training has shown promising advances on various downstream tasks. Existing methods often model the cross-modal interaction either via the similarity of the global feature of each modality which misses sufficient information, or finer-grained interactions using cross/self-attention upon visual and textual tokens. However, cross/self-attention suffers from inferior efficiency in both training and inference. In this paper, we introduce a large-scale Fine-grained Interactive Language-Image Pre-training (FILIP) to achieve finer-level alignment through a cross-modal late interaction mechanism, which uses a token-wise maximum similarity between visual and textual tokens to guide the contrastive objective. FILIP successfully leverages the finer-grained expressiveness between image patches and textual words by modifying only contrastive loss, while simultaneously gaining the ability to pre-compute image and text representations offline at inference, keeping both large-scale training and inference efficient. Furthermore, we construct a new large-scale image-text pair dataset called FILIP300M for pre-training. Experiments show that FILIP achieves state-of-the-art performance on multiple downstream vision-language tasks including zero-shot image classification and image-text retrieval. The visualization on word-patch alignment further shows that FILIP can learn meaningful fine-grained features with promising localization ability.

研究动机与目标

• 推动超越全局特征相似性的细粒度视觉语言对齐。
• 提供一种高效的双流 VLP 框架，具备跨模态后期交互。
• 证明逐 token 最大相似度在实现离线预计算的同时提升细粒度对齐。
• 展示在新的大规模数据集 FILIP300M（3 亿对图文）上的有效性。
• 探索数据增强和提示模板策略以提升零-shot 和检索性能。

提出的方法

• 用于图像和文本的双流 Vision Transformer 编码器。
• 跨模态后期交互，计算图像补丁与文本 token 之间的逐 token 最大相似度，然后对未填充的 token 取均值以形成图文相似度（方程 3–5）。
• 对图像到文本和文本到图像对进行对比学习损失，取两个方向损失的平均（方程 1）。
• 使用提示模板和提示集成以改善零-shot 分类，平均逐 token 相似度用于集成（第 3.1.2 节）。
• 包括 AutoAugment 与对文本的回译等文本数据增强，生成额外的配对（第 3.2 节）。
• 在 FILIP300M（约 3.4 亿清洗对）上进行预训练，结合数据集筛选和整合额外公共数据集（CC3M、CC12M、YFCC100M）（第 3.3 节）。

实验结果

研究问题

• RQ1 细粒度的逐 token 跨模态交互是否能在不牺牲双流模型效率的前提下提升视觉语言对齐？
• RQ2 用逐 token 级的最大相似度替代全局特征相似度是否能在标准数据集上提升零-shot 和检索性能？
• RQ3 数据增强和提示模板如何影响大规模 VLP 的零-shot 分类与检索？
• RQ4 使用大规模但高效利用的数据集（FILIP300M）对下游视觉语言任务有何影响？
• RQ5 离线预计算的图文表示是否与细粒度交互兼容，以实现可扩展的推理？

主要发现

• FILIP 在多项下游任务上实现最先进的结果，包括零-shot 图像分类和图文检索。
• 在零-shot 的 12 数据集 ImageNet 分类中，FILIP base 相对于 CLIP 提升平均 top-1 5.6 点，FILIP large 提升 3.0 点，但训练数据量更少（340M 对 vs 400M 对）。
• 在零-shot 的图文检索中，FILIP 相对于 CLIP 在 MSCOCO 上表现更好，提升显著（例如图像到文本的 R@1：60.1 对比 CLIP 基线的 59.?；具体数值见表格）。
• FILIP 在 Flickr30K 和 MSCOCO 的零-shot 与微调的图文检索设置中均获得有竞争力甚至优越的结果，在若干指标上达到最先进水平（表 2–3）。
• 词-补丁对齐的可视化显示出有意义的细粒度对齐，例如在对象中正确定位“electric”“locomotive”等组件。
• 消融研究表明图像/文本增强与跨模态后期交互各自对性能提升有贡献（表 4）。
• 效率分析表明，在进行优化（减少嵌入维度、fp16 精度、Token 选择等）后，后期交互在内存/时间成本上也保持可行（表 5）。