[논문 리뷰] Prompt Injection Attacks on Large Language Models in Oncology
논문은 의학 영상에 사용되는 최신 비전-언어 모델이 프롬프트 주입 공격에 취약하여 모델 접근 없이도 해로운 출력을 유발한다는 것을 보여준다. 여러 모델과 공격 방식에 대해 정량적 평가를 제공한다.
Vision-language artificial intelligence models (VLMs) possess medical knowledge and can be employed in healthcare in numerous ways, including as image interpreters, virtual scribes, and general decision support systems. However, here, we demonstrate that current VLMs applied to medical tasks exhibit a fundamental security flaw: they can be attacked by prompt injection attacks, which can be used to output harmful information just by interacting with the VLM, without any access to its parameters. We performed a quantitative study to evaluate the vulnerabilities to these attacks in four state of the art VLMs which have been proposed to be of utility in healthcare: Claude 3 Opus, Claude 3.5 Sonnet, Reka Core, and GPT-4o. Using a set of N=297 attacks, we show that all of these models are susceptible. Specifically, we show that embedding sub-visual prompts in medical imaging data can cause the model to provide harmful output, and that these prompts are non-obvious to human observers. Thus, our study demonstrates a key vulnerability in medical VLMs which should be mitigated before widespread clinical adoption.
연구 동기 및 목표
- 종양학에서 사용되는 현대 비전-언어 모델(VLM)이 프롬프트 주입 공격에 취약한지 평가한다.
- 다양한 모델과 영상 모달리티에 걸쳐 공격 성공률과 병변 탐지 손상을 정량화한다.
- 다양한 프롬프트 주입 전략이 모델 출력과 피해 가능성에 어떤 영향을 주는지 특성화한다.
- 임상 도입을 위한 완화 전략을 알리고 인간-개입 안전장치를 촉구한다.
제안 방법
- 다섯 개의 모델(Claude 3 Opus, Claude 3.5 Sonnet, Reka Core, GPT-4o, Gemini 1.5)을 nine patient cases의 radiology 이미지로 테스트했다.
- 세 가지 프롬프트 주입 전략을 사용했다: 텍스트 프롬프트 주입, 시각 프롬프트 주입, 지연 시각 프롬프트 주입.
- 서브-시각 주입을 만들기 위해 고대비/저대비, 글자 크기를 다양하게 조절했다.
- 구조화된 출력 템플릿과 출력-중심 평가 루브릭을 사용하여 기관 탐지 및 병변 존재를 평가했다.
- 주입으로 인한 피해를 정량화하기 위해 병변 누락률(LMR)과 공격 성공률(ASR)을 계산했다.
- Bonferroni 보정을 적용한 Mann-Whitney U 테스트 및 Wilcoxon Signed-Rank 테스트를 사용한 통계 분석을 수행했다.

실험 결과
연구 질문
- RQ1현재의 최첨단 VLM이 프롬프트 주입에 노출되었을 때 간질 liver 병변을 부정확하게 설명할 수 있는가?
- RQ2다양한 프롬프트 주입 전략이 모델과 영상 모달리티 전반에서 병변 탐지를 혼란시키는 데 얼마나 효과적인가?
- RQ3프롬프트 주입이 의료 영상 맥락에서 모달리티에 구애받지 않는 일관된 위협을 제기하는가?
주요 결과
- 모든 테스트된 모델은 프롬프트 주입 공격에 취약했다(주입으로 LMR 및 ASR이 크게 악화되었다).
- 주입 없이의 기관 탐지율은 60% (Claude-3)에서 100% (Claude-3.5)까지, 94% (GPT-4o)에서 76% (Reka Core)까지 다양했다.
- 변경되지 않은 프롬프트에서의 병변 누락률(LMR)은 모델 간에 22%에서 52% 사이였다.
- 프롬프트 주입은 GPT-4o에서 LMR 70% (ASR 70%), Claude-3.5에서 57% (ASR 35%), GPT-4o에서 70% (ASR 70%), Reka Core에서 61% (ASR 36%)의 LMR을 초래했고 모델 간 비교에서 p<0.0001이었다.
- 텍스트 프롬프트 주입은 거의 모든 관찰에서 해로웠고, 시각 프롬프트 주입은 모델에 따라 다른 정도의 피해를 유발했으며, 지연 시각 프롬프트 주입은 덜 해로웠다.
- 모달리티에 따라 공격 효과가 달랐다: 초음파에서 LMR이 가장 높아 73% (ASR 24%), MRI 59% (ASR 42%), CT-A 45% (ASR 53%)였다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.