Skip to main content
QUICK REVIEW

[论文解读] Prompt Injection Attacks on Large Language Models in Oncology

Jan Clusmann, Dyke Ferber|arXiv (Cornell University)|Jul 23, 2024
Topic ModelingComputer Science被引用 5
一句话总结

本文表明用于医学影像的最先进视觉-语言模型容易受到提示注入攻击,在没有模型访问权限的情况下产生有害输出。它对多种模型和攻击模态进行了定量评估。

ABSTRACT

Vision-language artificial intelligence models (VLMs) possess medical knowledge and can be employed in healthcare in numerous ways, including as image interpreters, virtual scribes, and general decision support systems. However, here, we demonstrate that current VLMs applied to medical tasks exhibit a fundamental security flaw: they can be attacked by prompt injection attacks, which can be used to output harmful information just by interacting with the VLM, without any access to its parameters. We performed a quantitative study to evaluate the vulnerabilities to these attacks in four state of the art VLMs which have been proposed to be of utility in healthcare: Claude 3 Opus, Claude 3.5 Sonnet, Reka Core, and GPT-4o. Using a set of N=297 attacks, we show that all of these models are susceptible. Specifically, we show that embedding sub-visual prompts in medical imaging data can cause the model to provide harmful output, and that these prompts are non-obvious to human observers. Thus, our study demonstrates a key vulnerability in medical VLMs which should be mitigated before widespread clinical adoption.

研究动机与目标

  • 评估在肿瘤学中使用的当代视觉-语言模型(VLM)是否容易受到提示注入攻击。
  • 量化多模型和多种影像模态下的攻击成功率和病变检测受损。
  • 描述不同的提示注入策略如何影响模型输出及潜在伤害。
  • 为缓解策略提供信息,并敦促在临床采用中采用人机协同的安全措施。

提出的方法

  • 使用来自九例患者的放射影像,测试五个模型(Claude 3 Opus、Claude 3.5 Sonnet、Reka Core、GPT-4o、Gemini 1.5)。
  • 采用三种提示注入策略:文本提示注入、视觉提示注入和延迟视觉提示注入。
  • 通过高对比度/低对比度和字体大小来改变注入可见性,从而创建子可视注入。
  • 使用结构化输出模板和面向输出的评估量表评估器官检测和病变存在情况。
  • 计算病变漏检率(LMR)和攻击成功率(ASR)以量化注入造成的伤害。
  • 使用Mann-Whitney U检验和Wilcoxon符号秩检验并进行Bonferroni校正进行统计分析。
Prompt Injection Attacks on Large Language Models in Oncology

实验结果

研究问题

  • RQ1在受到提示注入时,当前的最先进VLMs是否会错误描述肝脏病变?
  • RQ2不同的提示注入策略在Across 模型和影像模态上扰乱病变检测的效果如何?
  • RQ3提示注入在医疗影像情境中是否构成一致的、模态无关的威胁?

主要发现

  • 所有测试的模型都易受提示注入攻击(LMR和ASR在注入后显著恶化)。
  • 不注入时的器官检测率在 Claude-3 为 60%,Claude-3.5 为 100%,GPT-4o 为 94%,Reka Core 为 76% 之间。
  • 在未修改提示下,病变漏检率(LMR)在 22% 到 52% 之间。
  • 提示注入在 GPT-4o 上产生的 LMR 为 70%(ASR 70%),在 Claude-3.5 上为 57%(ASR 35%),在 GPT-4o 上为 70%(ASR 70%),在 Reka Core 上为 61%(ASR 36%),模型比较的 p 值小于 0.0001。
  • 文本提示注入在几乎所有观察中都具有危害性;视觉提示注入在不同模型中造成的伤害程度各不相同;延迟视觉提示注入的伤害较小。
  • 攻击效果随模态而异:超声的LMR最高,为73%(ASR 24%),MRI 为59%(ASR 42%),CT-A 为45%(ASR 53%)。
Prompt Injection Attacks on Large Language Models in Oncology

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。