[论文解读] Adversarial Attacks on Large Language Models in Medicine

Yifan Yang, Qiao Jin+2 more|PubMed|Jun 18, 2024

Artificial Intelligence in Healthcare and Education参考文献 1被引用 4

一句话总结

本研究调查了大型语言模型（LLMs）在医疗应用中的对抗性脆弱性，表明无论是开源还是专有LLMs，均会因使用真实患者数据在三个临床任务中遭受针对性攻击。研究发现，领域特定的微调需要更多的对抗性数据才能实现有效攻击，尤其是在高容量模型中，尽管性能下降微乎其微，但权重偏移模式可能成为潜在的检测信号。

ABSTRACT

The integration of Large Language Models (LLMs) into healthcare applications offers promising advancements in medical diagnostics, treatment recommendations, and patient care. However, the susceptibility of LLMs to adversarial attacks poses a significant threat, potentially leading to harmful outcomes in delicate medical contexts. This study investigates the vulnerability of LLMs to two types of adversarial attacks in three medical tasks. Utilizing real-world patient data, we demonstrate that both open-source and proprietary LLMs are vulnerable to malicious manipulation across multiple tasks. We discover that while integrating poisoned data does not markedly degrade overall model performance on medical benchmarks, it can lead to noticeable shifts in fine-tuned model weights, suggesting a potential pathway for detecting and countering model attacks. This research highlights the urgent need for robust security measures and the development of defensive mechanisms to safeguard LLMs in medical applications, to ensure their safe and effective deployment in healthcare settings.

研究动机与目标

• 评估大型语言模型（LLMs）在真实医疗场景中对对抗性攻击的易感性。
• 评估对抗性微调对通用和领域特定医疗任务中模型性能的影响。
• 探究模型能力、对抗性数据数量与攻击有效性之间的关系。
• 识别对抗性操纵的可检测信号（如权重偏移），且不造成显著性能下降。
• 强调在医疗LLM部署中迫切需要建立稳健的防御机制。

提出的方法

• 本研究使用真实世界患者数据，为三个不同的医疗任务构建对抗性样本。
• 通过使用对抗性数据样本对LLMs进行微调，实施对抗性训练，以评估攻击成功率和模型鲁棒性。
• 在通用和领域特定的医疗基准上，评估了开源和专有LLMs。
• 分析对抗性微调后模型权重的变化，以检测潜在的攻击指示信号。
• 在对抗性微调前后，于标准医疗基准上测量模型性能，以评估性能下降情况。
• 比较不同模型容量和领域特定程度下的攻击有效性。

实验结果

研究问题

• RQ1 在使用真实患者数据的情况下，大型语言模型在医疗应用中对对抗性攻击有多脆弱？
• RQ2 模型能力与成功攻击所需的对抗性数据量之间存在何种关系？
• RQ3 对抗性微调是否显著降低模型在医疗基准上的整体性能？
• RQ4 对抗性微调后模型权重的偏移能否作为攻击的可检测信号？
• RQ5 领域特定性如何影响对抗性攻击的可行性与有效性？

主要发现

• 当暴露于对抗性数据时，无论是开源还是专有LLMs，在医疗任务中均易受对抗性攻击影响。
• 领域特定任务需要更多对抗性数据才能实现有效攻击，尤其在更强大的模型中。
• 对抗性微调未导致标准医疗基准上性能的显著下降。
• 尽管性能稳定，对抗性微调仍引起模型权重的明显偏移，表明存在可检测的特征。
• 观察到的权重偏移表明，为医疗LLMs中的对抗性攻击开发检测机制提供了潜在路径。
• 研究结果强调了在临床AI系统中迫切需要建立稳健的防御策略。