[论文解读] Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study

Chenguang Wang, Ruoxi Jia+2 more|arXiv (Cornell University)|Mar 15, 2024

Infrastructure Maintenance and Monitoring被引用 4

一句话总结

本文提出了RoZ，一个全面的基准测试，用于评估CLIP等多模态基础模型在7种自然分布偏移、3种合成分布偏移以及11种对抗性攻击下的零样本鲁棒性。尽管零样本准确率表现强劲，CLIP在合成偏移上的鲁棒性平均下降11.8%，在字体攻击上的鲁棒性下降达34.7%，凸显了其与监督式ImageNet模型相比存在显著的鲁棒性差距。

ABSTRACT

Pre-training image representations from the raw text about images enables zero-shot vision transfer to downstream tasks. Through pre-training on millions of samples collected from the internet, multimodal foundation models, such as CLIP, produce state-of-the-art zero-shot results that often reach competitiveness with fully supervised methods without the need for task-specific training. Besides the encouraging performance on classification accuracy, it is reported that these models close the robustness gap by matching the performance of supervised models trained on ImageNet under natural distribution shift. Because robustness is critical to real-world applications, especially safety-critical ones, in this paper, we present a comprehensive evaluation based on a large-scale robustness benchmark covering 7 natural, 3 synthetic distribution shifts, and 11 adversarial attacks. We use CLIP as a pilot study. We show that CLIP leads to a significant robustness drop compared to supervised ImageNet models on our benchmark, especially under synthetic distribution shift and adversarial attacks. Furthermore, data overlap analysis suggests that the observed robustness under natural distribution shifts could be attributed, at least in part, to data overlap. In summary, our evaluation shows a comprehensive evaluation of robustness is necessary; and there is a significant need to improve the robustness of zero-shot multimodal models.

研究动机与目标

• 系统评估零样本多模态基础模型在自然分布偏移之外的鲁棒性。
• 识别在自然分布偏移上观察到的鲁棒性是否源于数据重叠，而非真正的模型泛化能力。
• 开发一个综合性基准（RoZ），涵盖自然、合成与对抗性鲁棒性评估。
• 评估提示工程与自动提示生成在零样本设置下的鲁棒性影响。
• 强调在安全关键应用中提升零样本多模态模型鲁棒性的紧迫需求。

提出的方法

• 构建了包含7种自然分布偏移（如ImageNet-V2、ObjectNet）、3种合成偏移（如ImageNet-C、Stylized ImageNet）以及11种对抗性攻击的RoZ基准。
• 使用多种视觉编码器（ViT-B/16、ResNet50x16）评估CLIP，以及采用自动提示生成的CLIP-Auto。
• 通过测试集与ImageNet之间的数据重叠分析，评估自然分布偏移上的鲁棒性是否源于数据集重叠。
• 提出了一项新型字体攻击测试集（ImageNet-T、CIFAR-10-T），专门针对基于提示的推理中多模态模型的漏洞。
• 在所有鲁棒性条件下，将零样本CLIP性能与标准ImageNet模型进行对比。
• 采用标准化的零样本提示模板（自然语言模板）评估模型泛化能力，无需微调。

(a) Seven natural distribution shifts.

实验结果

研究问题

• RQ1 与监督式ImageNet模型相比，CLIP在合成分布偏移和对抗性攻击下的鲁棒性保持程度如何？
• RQ2 CLIP在自然分布偏移上观察到的鲁棒性是否源于与ImageNet训练集的数据重叠？
• RQ3 与标准CLIP和监督式模型相比，自动提示生成（CLIP-Auto）对鲁棒性有何影响？
• RQ4 在新型对抗性攻击（如字体扰动）下，多模态零样本模型暴露出哪些新漏洞？
• RQ5 像RoZ这样的综合性基准能否可靠识别出零样本多模态基础模型的鲁棒性弱点？

主要发现

• 与监督式ImageNet模型相比，CLIP在合成分布偏移（如ImageNet-C、Stylized ImageNet）上平均鲁棒性下降11.8%。
• 在对抗性攻击下，CLIP的表现不如标准ImageNet模型，尤其在新引入的字体攻击测试集（ImageNet-T和CIFAR-10-T）上，鲁棒性下降达34.7%。
• 数据重叠分析表明，CLIP在自然分布偏移（如ImageNet-A、ImageNet-R）上观察到的鲁棒性至少部分归因于与ImageNet训练集的样本重叠。
• CLIP-Auto（采用自动提示生成）在所有测试集上的表现与标准CLIP相当，表明提示自动化并未带来鲁棒性提升。
• 尽管零样本准确率表现优异，CLIP在非自然分布偏移下仍无法实现稳健泛化，暴露出其在实际部署中的关键脆弱性。
• RoZ基准成功识别出零样本多模态模型的鲁棒性弱点，凸显了在标准零样本准确率之外开展系统性鲁棒性评估的必要性。

(b) Robustness test sets except for the distribution shifts in (a).