[论文解读] How Robust is Google's Bard to Adversarial Image Attacks?

Yinpeng Dong, Huanran Chen+7 more|arXiv (Cornell University)|Sep 21, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文通过生成可迁移的对抗性图像，评估了谷歌旗下商业多模态大语言模型（MLLM）Bard的对抗鲁棒性，在白盒替代攻击下使Bard生成错误图像描述的成功率为22%。研究进一步表明，这些攻击可泛化至其他MLLM，包括GPT-4V（成功率45%）、Bing Chat（26%）和ERNIE Bot（86%），并揭示了Bard内置防御机制（如人脸检测与毒性检测）存在漏洞，可通过定向扰动实现绕过。

ABSTRACT

Multimodal Large Language Models (MLLMs) that integrate text and other modalities (especially vision) have achieved unprecedented performance in various multimodal tasks. However, due to the unsolved adversarial robustness problem of vision models, MLLMs can have more severe safety and security risks by introducing the vision inputs. In this work, we study the adversarial robustness of Google's Bard, a competitive chatbot to ChatGPT that released its multimodal capability recently, to better understand the vulnerabilities of commercial MLLMs. By attacking white-box surrogate vision encoders or MLLMs, the generated adversarial examples can mislead Bard to output wrong image descriptions with a 22% success rate based solely on the transferability. We show that the adversarial examples can also attack other MLLMs, e.g., a 26% attack success rate against Bing Chat and a 86% attack success rate against ERNIE bot. Moreover, we identify two defense mechanisms of Bard, including face detection and toxicity detection of images. We design corresponding attacks to evade these defenses, demonstrating that the current defenses of Bard are also vulnerable. We hope this work can deepen our understanding on the robustness of MLLMs and facilitate future research on defenses. Our code is available at https://github.com/thu-ml/Attack-Bard. Update: GPT-4V is available at October 2023. We further evaluate its robustness under the same set of adversarial examples, achieving a 45% attack success rate.

研究动机与目标

• 研究在黑盒对抗性图像攻击下，谷歌Bard这一主流商业MLLM的对抗鲁棒性。
• 评估针对替代视觉编码器或MLLM生成的对抗性样本，对Bard图像描述能力的可迁移性。
• 评估Bard原生防御机制——人脸检测与毒性检测——对对抗性扰动的有效性。
• 证明当前商业MLLM中的防御机制不足以抵御复杂对抗攻击。
• 为商业MLLM的安全风险提供洞见，并指导未来鲁棒多模态基础模型的研究。

提出的方法

• 作者采用基于迁移的对抗攻击方法，利用替代模型生成对抗性图像，以误导Bard的视觉编码器和文本生成流程。
• 攻击优化两个目标：(1) 使对抗性图像的图像嵌入偏离原始图像（图像嵌入攻击）；(2) 生成目标文本描述（文本描述攻击）。
• 攻击采用SSA-CWA方法，在ℓ∞范数下以ε = 16/255生成扰动。
• 为实现防御绕过，作者设计了针对Bard人脸检测与毒性检测系统的攻击，通过扰动这些检测器所用预训练视觉模型的特征。
• 攻击通过100张多样化的现实世界图像进行评估，包括含毒性内容与人脸的图像，以测试其泛化能力与现实适用性。
• 本研究采用最先进的基于迁移的攻击技术，并针对多模态模型进行适配，聚焦于模型权重与架构未知的黑盒设置。

实验结果

研究问题

• RQ1 在黑盒设置下，谷歌Bard对对抗性图像攻击的脆弱性程度如何？
• RQ2 针对替代模型生成的对抗性样本，其对Bard多模态推理与图像描述能力的可迁移性如何？
• RQ3 Bard内置的防御机制——人脸检测与毒性检测——能否通过对抗性扰动被有效绕过？
• RQ4 在GPT-4V、Bing Chat和ERNIE Bot等不同商业MLLM中，攻击成功率如何比较？
• RQ5 这些漏洞对商业多模态基础模型的安全性与安全性有何影响？

主要发现

• 攻击在生成使Bard输出错误图像描述的对抗性图像方面取得了22%的成功率，同时有5%的样本被拒绝。
• 相同的对抗性样本在GPT-4V上实现了45%的攻击成功率，在Bing Chat上为26%，在ERNIE Bot上高达86%，显示出极强的可迁移性。
• Bard的人脸检测防御在32%的测试案例中被成功绕过，使得含人脸的对抗性图像得以绕过检测。
• 毒性检测机制被成功绕过的比例达36%，使得有害图像可被处理并生成不恰当的描述。
• 结果表明，当前商业MLLM中的防御机制对对抗攻击缺乏鲁棒性，暴露了显著的安全风险。
• 本研究强调，对抗鲁棒性仍是商业MLLM面临的关键挑战，尤其考虑到Bard等模型的高性能与广泛应用。