[论文解读] ASIF: Coupled Data Turns Unimodal Models to Multimodal Without Training

Antonio Norelli, Marco Fumero+4 more|arXiv (Cornell University)|Oct 4, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

ASIF 提出了一种非参数化方法，仅通过两个预训练的单模态编码器（图像和文本）以及少量图像-文本配对样本，无需任何训练即可构建多模态模型。通过将输入表示为与真实配对样本的相似度，ASIF 实现了与 CLIP 和 LiT 相当的零样本分类性能，但仅使用了其 1/250 的数据量，同时支持即时模型更新并提供完全可解释的表示。

ABSTRACT

CLIP proved that aligning visual and language spaces is key to solving many vision tasks without explicit training, but required to train image and text encoders from scratch on a huge dataset. LiT improved this by only training the text encoder and using a pre-trained vision network. In this paper, we show that a common space can be created without any training at all, using single-domain encoders (trained with or without supervision) and a much smaller amount of image-text pairs. Furthermore, our model has unique properties. Most notably, deploying a new version with updated training samples can be done in a matter of seconds. Additionally, the representations in the common space are easily interpretable as every dimension corresponds to the similarity of the input to a unique image-text pair in the multimodal dataset. Experiments on standard zero-shot visual benchmarks demonstrate the typical transfer ability of image-text models. Overall, our method represents a simple yet surprisingly strong baseline for foundation multimodal models, raising important questions on their data efficiency and on the role of retrieval in machine learning.

研究动机与目标

• 开发一种无需在多模态数据上微调或训练即可实现多模态对齐的方法。
• 构建一种可轻松编辑的模型，通过增删图像-文本配对即可实现即时更新。
• 生成可解释的表示，其中每个维度对应与特定训练样本对的相似度。
• 探究是否可以通过利用类似检索的机制而非基于参数的蒸馏，显著提升基础模型的数据效率。
• 挑战通过权重更新实现学习的假设，证明基于记忆的对齐方法可实现强大性能。

提出的方法

• ASIF 使用两个预训练且冻结的单模态编码器（图像和文本），不进行任何微调。
• 通过将每个图像-文本配对编码为固定维度的向量，构建一个共享的嵌入空间，形成耦合嵌入的数据库。
• 将输入图像或文本嵌入为与数据集中所有存储的图像-文本配对的相似度向量。
• 所得表示为一种非参数化、类似检索的投影，其中每个维度对应与特定真实样本对的相似度。
• 通过简单地添加或移除新样本或过时样本的嵌入向量即可实现模型更新，支持秒级部署。
• 该方法基于以下直觉：语义上相似的图像具有相似的描述，因此与配对样本的相似度可捕捉多模态对齐。

实验结果

研究问题

• RQ1 是否可以仅使用预训练的单模态编码器和少量图像-文本配对样本，在不进行任何训练的情况下构建多模态模型？
• RQ2 非参数化、基于记忆的方法在多模态性能上能在多大程度上与 CLIP 和 LiT 等端到端训练模型相媲美？
• RQ3 与学习参数相比，基于检索机制的表示在可解释性和可编辑性方面表现如何？
• RQ4 当学习被替换为对配对嵌入的记忆化时，数据规模对性能有何影响？
• RQ5 由于无需参数调优，该模型在实际应用中是否更具透明性和可控性？

主要发现

• 尽管仅使用 160 万张图像-文本配对样本（相比先前方法最多减少 250 倍），ASIF 在标准基准上实现了与 CLIP 和 LiT 相当的零样本图像分类准确率。
• 模型可通过秒级更新：仅需对新样本进行编码并添加至嵌入数据库即可完成。
• 所得表示的每个维度直接对应输入与特定训练图像-文本配对的相似度，使表示具有高度可解释性。
• 该方法表明，无需任何参数更新即可实现有效的多模态对齐，挑战了端到端训练对强性能的必要性。
• ASIF 的性能强烈依赖于多模态数据集的质量与覆盖范围，表明语义对齐对数据分布敏感。
• 尽管结构简单，ASIF 仍优于先前的非参数基线模型，并确立了一种高效、数据节约且可编辑的多模态预训练替代方案。