[논문 리뷰] Adversarial Attacks on Large Language Models in Medicine

Yifan Yang, Qiao Jin외 2명|PubMed|2024. 06. 18.

Artificial Intelligence in Healthcare and Education참고 문헌 1인용 수 4

한 줄 요약

이 연구는 의료 적용 분야에서 대규모 언어 모델(Large Language Models, LLMs)의 적대적 취약성을 조사하며, 실제 환자 데이터를 사용하여 세 가지 임상 과제에서 개방형 및 기업 소유의 LLMs가 표적 공격에 취약하다는 것을 입증한다. 도메인 특화 미세조정은 특히 고용량 모델에서 효과적인 공격를 위해 더 많은 적대적 데이터가 필요하다는 점을 드러내며, 성능 저하가 최소화되더라도 가중치 이동 패턴이 잠재적인 탐지 신호가 될 수 있음을 규명한다.

ABSTRACT

The integration of Large Language Models (LLMs) into healthcare applications offers promising advancements in medical diagnostics, treatment recommendations, and patient care. However, the susceptibility of LLMs to adversarial attacks poses a significant threat, potentially leading to harmful outcomes in delicate medical contexts. This study investigates the vulnerability of LLMs to two types of adversarial attacks in three medical tasks. Utilizing real-world patient data, we demonstrate that both open-source and proprietary LLMs are vulnerable to malicious manipulation across multiple tasks. We discover that while integrating poisoned data does not markedly degrade overall model performance on medical benchmarks, it can lead to noticeable shifts in fine-tuned model weights, suggesting a potential pathway for detecting and countering model attacks. This research highlights the urgent need for robust security measures and the development of defensive mechanisms to safeguard LLMs in medical applications, to ensure their safe and effective deployment in healthcare settings.

연구 동기 및 목표

• 실제 의료 환경에서 대규모 언어 모델(LLMs)가 적대적 공격에 얼마나 취약한지 평가하기 위해.
• 일반 및 도메인 특화 의료 과제에서 적대적 미세조정이 모델 성능에 미치는 영향을 평가하기 위해.
• 모델 능력, 적대적 데이터 양, 공격 효과성 간의 관계를 조사하기 위해.
• 성능 저하 없이도 탐지 가능한 적대적 조작의 신호(예: 가중치 이동)를 식별하기 위해.
• 임상 AI 시스템에서 강력한 방어 기반 구현의 긴급한 필요성을 강조하기 위해.

제안 방법

• 연구는 세 가지 다른 의료 과제를 위해 실제 환자 데이터를 활용하여 적대적 예제를 구성한다.
• 적대적 훈련은 적대적 데이터 샘플을 사용해 LLMs를 미세조정함으로써 공격 성공률와 모델의 내성 강도를 평가하기 위해 적용된다.
• 일반 및 도메인 특화 의료 벤치마크에서 개방형 및 기업 소유의 LLMs가 평가된다.
• 적대적 미세조정 후 모델 가중치 변화를 분석하여 공격의 잠재적 징후를 탐지한다.
• 적대적 미세조정 전후로 표준 의료 벤치마크에서 성능을 측정하여 성능 저하 여부를 평가한다.
• 다양한 모델 용량 및 도메인 특화 수준 간의 공격 효과성을 비교한다.

실험 결과

연구 질문

• RQ1 실제 환자 데이터를 사용한 적대적 공격에 대해 의료 응용 분야의 대규모 언어 모델은 얼마나 취약한가?
• RQ2 모델 능력과 성공적인 공격를 위해 필요한 적대적 데이터의 양 간의 관계는 무엇인가?
• RQ3 적대적 미세조정은 의료 벤치마크에서 전체 성능에 심각한 영향을 미치는가?
• RQ4 적대적 미세조정 후 모델 가중치의 이동은 공격의 탐지 가능한 신호로 기능할 수 있는가?
• RQ5 도메인 특화성은 적대적 공격의 가능성과 효과성에 어떤 영향을 미치는가?

주요 결과

• 실제 환자 데이터에 노출되었을 때, 개방형 및 기업 소유의 LLMs 모두 의료 과제에서 적대적 공격에 취약하다.
• 도메인 특화 과제는 특히 능력이 뛰어난 모델에서 효과적인 공격를 위해 더 많은 적대적 데이터가 필요하다.
• 적대적 미세조정은 표준 의료 벤치마크에서 성능 저하를 야기하지 않는다.
• 성능이 안정적으로 유지되더라도, 적대적 미세조정은 눈에 띄는 모델 가중치 이동을 유도하며, 이는 탐지 가능한 서명으로서의 가능성을 시사한다.
• 관찰된 가중치 이동은 의료 LLM에서의 적대적 공격 탐지 기반 기술 개발을 위한 잠재적 길을 제시한다.
• 이러한 발견은 임상 AI 시스템에서 강력한 방어 전략이 긴급히 필요하다는 점을 강조한다.