Skip to main content
QUICK REVIEW

[論文レビュー] Prompt Injection Attacks on Large Language Models in Oncology

Jan Clusmann, Dyke Ferber|arXiv (Cornell University)|Jul 23, 2024
Topic ModelingComputer Science被引用数 5
ひとこと要約

本論文は、医用画像診断で用いられる最先端の vision-language models (VLMs) がプロンプトインジェクション攻撃に脆弱であり、モデルに直接アクセスできなくても有害な出力を引き起こすことを示している。複数のモデルと攻撃モダリティにわたる定量評価を提供する。

ABSTRACT

Vision-language artificial intelligence models (VLMs) possess medical knowledge and can be employed in healthcare in numerous ways, including as image interpreters, virtual scribes, and general decision support systems. However, here, we demonstrate that current VLMs applied to medical tasks exhibit a fundamental security flaw: they can be attacked by prompt injection attacks, which can be used to output harmful information just by interacting with the VLM, without any access to its parameters. We performed a quantitative study to evaluate the vulnerabilities to these attacks in four state of the art VLMs which have been proposed to be of utility in healthcare: Claude 3 Opus, Claude 3.5 Sonnet, Reka Core, and GPT-4o. Using a set of N=297 attacks, we show that all of these models are susceptible. Specifically, we show that embedding sub-visual prompts in medical imaging data can cause the model to provide harmful output, and that these prompts are non-obvious to human observers. Thus, our study demonstrates a key vulnerability in medical VLMs which should be mitigated before widespread clinical adoption.

研究の動機と目的

  • 腫瘍学で用いられる最新の vision-language models (VLMs) がプロンプトインジェクション攻撃に敏感かどうかを評価する。
  • 複数のモデルと画像モダリティにわたる攻撃成功率と病変検出の低下を定量化する。
  • 異なるプロンプトインジェクション戦略がモデル出力と害の可能性にどう影響するかを特徴づける。
  • 緩和戦略を通知し、臨床採用に向けたヒューマンインザループの安全策を促す。

提案手法

  • 九つの患者ケースの放射線画像を用いて、5つのモデル(Claude 3 Opus、Claude 3.5 Sonnet、Reka Core、GPT-4o、Gemini 1.5)をテストした。
  • テキストプロンプトインジェクション、視覚的プロンプトインジェクション、遅延視覚プロンプトインジェクションの3つの戦略を採用した。
  • 高/低コントラストおよびフォントサイズを用いて注入の可視性を変化させ、サブビジュアル注入を作成した。
  • 構造化出力テンプレートと出力重視の評価ルーブリックを用いて、臓器検出と病変の有無を評価した。
  • 注入による害を定量化するために、病変ミス率(LMR)と攻撃成功率(ASR)を算出した。
  • Bonferroni補正を用いたMann-Whitney U検定および Wilcoxon符号順位検定による統計分析を実施した。
Prompt Injection Attacks on Large Language Models in Oncology

実験結果

リサーチクエスチョン

  • RQ1現在の最先端VLMは、プロンプトインジェクションを受けた場合に肝臓病変を不正確に記述する可能性があるのか?
  • RQ2異なるプロンプトインジェクション戦略が、モデルと画像モダリティ全体で病変検出を攪乱する効果はどの程度か?
  • RQ3プロンプトインジェクションは医用画像において、一貫したモダリティ非依存の脅威を提示するのか?

主な発見

  • すべてのテスト対象モデルはプロンプトインジェクション攻撃に対して脆弱であり(LMRとASRは注入により有意に悪化した)。
  • 注入なしの臓器検出率は、60%(Claude-3)から100%(Claude-3.5)から94%(GPT-4o)から76%(Reka Core)までであった。
  • 病変ミス率(LMR)は変更されていないプロンプト下でのモデル間で22%から52%の範囲であった。
  • プロンプト注入は GPT-4o でLMR 70%(ASR 70%)を生じ、 Claude-3.5 で57%(ASR 35%)、 GPT-4oで70%(ASR 70%)、 Reka Coreで61%(ASR 36%)を示し、モデル比較では p<0.0001。
  • テキストプロンプトインジェクションはほぼすべての観察で有害であった; 視覚的プロンプトインジェクションはモデル間で程度が異なり害を引き起こした; 遅延期視覚プロンプトインジェクションはより害が少なかった。
  • 攻撃の有効性はモダリティによって異なり、超音波はLMR73%(ASR 24%)、MRIは59%(ASR 42%)、CT-Aは45%(ASR 53%)となった。
Prompt Injection Attacks on Large Language Models in Oncology

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。