[论文解读] MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models

Xin Liu, Yichen Zhu+4 more|arXiv (Cornell University)|Nov 29, 2023

Digital Media Forensic Detection被引用 7

一句话总结

本文提出了MM-SafetyBench，一个用于评估多模态大语言模型（MLLMs）在图像提示攻击下安全性的基准。通过使用Stable Diffusion和排版技术生成与查询相关的图像，作者表明，即使经过安全微调，MLLMs仍极易受到安全对齐机制的规避；一种简单的提示策略可显著降低攻击成功率，凸显了开源MLLM中存在关键的安全漏洞。

ABSTRACT

The security concerns surrounding Large Language Models (LLMs) have been extensively explored, yet the safety of Multimodal Large Language Models (MLLMs) remains understudied. In this paper, we observe that Multimodal Large Language Models (MLLMs) can be easily compromised by query-relevant images, as if the text query itself were malicious. To address this, we introduce MM-SafetyBench, a comprehensive framework designed for conducting safety-critical evaluations of MLLMs against such image-based manipulations. We have compiled a dataset comprising 13 scenarios, resulting in a total of 5,040 text-image pairs. Our analysis across 12 state-of-the-art models reveals that MLLMs are susceptible to breaches instigated by our approach, even when the equipped LLMs have been safety-aligned. In response, we propose a straightforward yet effective prompting strategy to enhance the resilience of MLLMs against these types of attacks. Our work underscores the need for a concerted effort to strengthen and enhance the safety measures of open-source MLLMs against potential malicious exploits. The resource is available at https://github.com/isXinLiu/MM-SafetyBench

研究动机与目标

• 探究多模态大语言模型对绕过安全对齐机制的基于图像的提示攻击的脆弱性。
• 识别与查询相关的图像如何在模型已进行安全微调的情况下，仍能操纵MLLM生成有害内容。
• 构建一个全面的基准，用于系统性评估MLLM在多样化有害内容场景下的安全性。
• 提出并验证一种基于提示的防御策略，以提升MLLM对这类攻击的鲁棒性。
• 强调迫切需要为开源MLLM加强安全机制，以防止恶意利用。

提出的方法

• 在13个安全关键场景（包括非法活动、仇恨言论和身体伤害）中构建了包含5,040对文本-图像的数据集。
• 基于从恶意查询中提取的关键词，使用Stable Diffusion和排版渲染技术生成攻击图像。
• 使用GPT-4从用户查询中提取并验证关键词，以确保其与有害内容在语义上相关。
• 设计了两阶段图像生成流程：第一阶段使用文本到图像的扩散模型，第二阶段使用视觉排版技术编码敏感术语。
• 实施了一种安全提示策略，指导模型拒绝恶意查询的响应，从而提升其鲁棒性。
• 使用基于LLM的分类器进行自动化安全评估，以衡量拒绝行为和攻击成功率。

实验结果

研究问题

• RQ1 在多大程度上，与查询相关的图像能够绕过最先进MLLM的安全对齐机制？
• RQ2 基于图像的提示攻击在多样化安全关键场景中诱发有害响应的有效性如何？
• RQ3 一种简单的提示策略是否能显著降低此类基于图像攻击的成功率？
• RQ4 即使在安全对齐的情况下，攻击成功率在不同MLLM之间如何变化？
• RQ5 哪些最有效的图像生成技术可用于构建利用MLLM安全弱点的对抗性提示？

主要发现

• MLLM对基于图像的提示攻击表现出高度脆弱性，当使用与查询相关的图像时，攻击成功率显著高于使用无关图像的情况。
• 即使经过安全对齐的MLLM（如LLaVA-1.5）也容易受到此类攻击，表明当前的对齐方法不足以应对视觉提示注入攻击。
• Stable Diffusion生成的图像与排版表示的结合在基准的全部13个场景中均实现了高攻击成功率。
• 所提出的安全部提示策略显著降低了攻击成功率，表明简单的提示工程可有效提升模型的鲁棒性。
• 相当大比例的MLLM在面对精心构造的图像时未能拒绝有害查询，即使它们能正确拒绝仅含文本的版本。
• 该基准揭示，模型往往无法识别编码有害意图的图像中细微的视觉线索，暴露出多模态安全中的关键盲点。