[论文解读] Inducing High Energy-Latency of Large Vision-Language Models with Verbose Images

Kuofeng Gao, Yang Bai+5 more|arXiv (Cornell University)|Jan 20, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种名为冗长图像（verbose images）的新型攻击方法，即通过不可察觉的对抗性扰动，使视觉语言模型（VLMs）在推理过程中生成异常冗长、复杂且多样的文本序列。通过三种损失目标，分别延迟结束序列（EOS）标记的生成、提升标记级别的不确定性，并增强序列级别的多样性，该方法在多个VLM上使ImageNet和MS-COCO数据集的能耗与延迟成本分别提升最高达8.56倍和7.87倍，展示了新型基于可用性的规避攻击。

ABSTRACT

Large vision-language models (VLMs) such as GPT-4 have achieved exceptional performance across various multi-modal tasks. However, the deployment of VLMs necessitates substantial energy consumption and computational resources. Once attackers maliciously induce high energy consumption and latency time (energy-latency cost) during inference of VLMs, it will exhaust computational resources. In this paper, we explore this attack surface about availability of VLMs and aim to induce high energy-latency cost during inference of VLMs. We find that high energy-latency cost during inference of VLMs can be manipulated by maximizing the length of generated sequences. To this end, we propose verbose images, with the goal of crafting an imperceptible perturbation to induce VLMs to generate long sentences during inference. Concretely, we design three loss objectives. First, a loss is proposed to delay the occurrence of end-of-sequence (EOS) token, where EOS token is a signal for VLMs to stop generating further tokens. Moreover, an uncertainty loss and a token diversity loss are proposed to increase the uncertainty over each generated token and the diversity among all tokens of the whole generated sequence, respectively, which can break output dependency at token-level and sequence-level. Furthermore, a temporal weight adjustment algorithm is proposed, which can effectively balance these losses. Extensive experiments demonstrate that our verbose images can increase the length of generated sequences by 7.87 times and 8.56 times compared to original images on MS-COCO and ImageNet datasets, which presents potential challenges for various applications. Our code is available at https://github.com/KuofengGao/Verbose_Images.

研究动机与目标

• 研究大型视觉语言模型（VLMs）在推理过程中对增加能耗与延迟的对抗性攻击的脆弱性。
• 探究生成序列长度与VLM中能耗和延迟之间的相关性。
• 开发一种通过不可察觉图像扰动诱导VLM产生高能耗-高延迟成本的方法。
• 设计一种基于损失的优化框架，以延迟EOS标记的生成、提升输出不确定性，并增强标记多样性。

提出的方法

• 提出延迟EOS损失，以推迟结束序列标记的生成，从而延长序列长度。
• 引入不确定性损失，以增加标记预测的随机性，打破标记级别的输出依赖性。
• 采用标记多样性损失，以促进生成序列中所有标记之间的差异性，降低序列级别的可预测性。
• 使用时间权重调整算法，在优化过程中平衡三种损失目标。
• 采用基于梯度的优化过程并引入动量，生成输入图像上的不可察觉扰动。
• 使用NVML实现实时能耗测量，并记录推理延迟以评估攻击效果。

实验结果

研究问题

• RQ1 生成序列长度与VLM中能耗/延迟之间是否存在强烈的正相关性？
• RQ2 是否可通过对视觉输入施加对抗性扰动，显著延长VLM的文本生成长度？
• RQ3 如何在不改变语义内容的前提下，操纵生成过程以延迟EOS标记的出现？
• RQ4 标记生成中的不确定性和多样性在多大程度上可促进生成序列变长？
• RQ5 是否可通过平衡的多损失优化框架，有效实现高能耗-高延迟攻击，且扰动不可察觉？

主要发现

• VLM中的能耗与延迟与生成序列长度之间表现出近乎线性的正相关关系。
• 与原始图像相比，冗长图像在四个VLM上使MS-COCO数据集的序列长度增加7.87倍，ImageNet数据集增加8.56倍。
• 该方法诱导出复杂、幻觉化且多样的输出，且注意力图在视觉标记上呈现分散分布。
• 时间权重调整算法有效平衡了三种损失目标，提升了优化稳定性与攻击成功率。
• 实验表明，基于动量的优化显著提升了攻击性能，其中0.9动量参数取得最长序列长度。
• 该攻击在多种VLM上均有效，包括BLIP-2、InstructBLIP和MiniGPT-4，即使使用先进的LLM主干网络也依然有效。