[논문 리뷰] A Comprehensive Overview of Backdoor Attacks in Large Language Models within Communication Networks

Haomiao Yang, Kunlan Xiang외 4명|arXiv (Cornell University)|2023. 08. 28.

Interpreting and Communication in Healthcare인용 수 6

한 줄 요약

이 논문은 통신 네트워크 내 대규모 언어 모델(Large Language Models, LLMs)에서의 백도어 공격에 대한 체계적인 분류 체계를 제시하며, 입력 트리거, 프롬프트 트리거, 지시 트리거, 예시 트리거 공격으로 분류한다. 기준 데이터셋을 분석하고 핵심 연구 격차를 규명하며, 네트워크 환경에서 LLM 보안을 향상시키기 위한 향후 방향을 제시한다.

ABSTRACT

The Large Language Models (LLMs) are poised to offer efficient and intelligent services for future mobile communication networks, owing to their exceptional capabilities in language comprehension and generation. However, the extremely high data and computational resource requirements for the performance of LLMs compel developers to resort to outsourcing training or utilizing third-party data and computing resources. These strategies may expose the model within the network to maliciously manipulated training data and processing, providing an opportunity for attackers to embed a hidden backdoor into the model, termed a backdoor attack. Backdoor attack in LLMs refers to embedding a hidden backdoor in LLMs that causes the model to perform normally on benign samples but exhibit degraded performance on poisoned ones. This issue is particularly concerning within communication networks where reliability and security are paramount. Despite the extensive research on backdoor attacks, there remains a lack of in-depth exploration specifically within the context of LLMs employed in communication networks, and a systematic review of such attacks is currently absent. In this survey, we systematically propose a taxonomy of backdoor attacks in LLMs as used in communication networks, dividing them into four major categories: input-triggered, prompt-triggered, instruction-triggered, and demonstration-triggered attacks. Furthermore, we conduct a comprehensive analysis of the benchmark datasets. Finally, we identify potential problems and open challenges, offering valuable insights into future research directions for enhancing the security and integrity of LLMs in communication networks.

연구 동기 및 목표

• 통신 네트워크에 구현된 LLM에서 백도어 공격에 대한 체계적 분석이 부족한 데 대응하기 위해.
• 사전 훈련, 프롬프트 튜닝, 지시 튜닝, 예시 기반 미세조정 등에서 유일하게 나타나는 LLM의 네트워크 환경에서의 신규 백도어 공격 벡터를 식별하고 분류하기 위해.
• 통신 환경에서 LLM 백도어 공격 연구에 사용된 기존 기준 데이터셋을 분석하기 위해.
• 백도어 공격 탐지 및 방어에 있어 해결되지 않은 과제와 열린 연구 문제를 부각하기 위해.
• 실제 네트워크 애플리케이션에서 LLM의 보안성과 무결성을 향상시키기 위한 향후 연구 방향을 제시함으로써, 연구를 이끌기 위해.

제안 방법

• LLM 훈련 및 추론 파이프라인에서의 공격 표면을 바탕으로, 입력 트리거, 프롬프트 트리거, 지시 트리거, 예시 트리거 공격으로 구성된 새로운 4개 카테고리 분류 체계를 제안한다.
• 악성 데이터 주입이 사전 훈련(오염된 데이터셋을 통한), 프롬프트 튜닝(적대적 프롬프트를 통한), 지시 튜닝(오염된 지시를 통한), 소수 예시 기반 학습(변경된 예시를 통한) 등 다양한 단계에서 발생하는 방식을 분석한다.
• 이전의 LLM 백도어 공격 연구에서 사용된 기준 데이터셋을 검토하고 통합하며, 통신 네트워크 응용 분야와의 관련성을 중점적으로 다룬다.
• 특히 모델 업데이트 및 적대적 재훈련 상황에서의 백도어의 은밀성과 지속성에 대해 분석한다.
• 암호화된 통신 및 모델 미세조정과 같은 실제 제약 조건 하에서 현재 공격 전략의 실현 가능성과 한계를 평가한다.
• 발견된 취약점을 바탕으로 향후 연구 방향을 제안하며, 더 은밀한 트리거 설계 및 텍스트 분류를 초월한 광범위한 작업 커버리지 개선을 포함한다.

실험 결과

연구 질문

• RQ1 LLM이 통신 네트워크에서 사용되는 경우, 기존의 NLP나 컴퓨터 비전 환경과 비교해 백도어 공격가 어떻게 다르게 나타나는가?
• RQ2 사전 훈련, 프롬프트 튜닝, 지시 튜닝, 예시 기반 학습에서 LLM의 특별한 공격 표면은 무엇이며, 이들이 백도어 주입을 가능하게 하는가?
• RQ3 모델 미세조정 또는 보안 통신 프로토콜 하에서 현재의 백도어 공격가 얼마나 효과적으로 유지되는가?
• RQ4 백도어 트리거를 어떻게 설계하여 자연어 패턴과 구분이 가지 않도록 더 은밀하게 만들 수 있는가?
• RQ5 텍스트 분류를 초월한 어떤 작업들이 백도어 공격에 취약한가? 이 지식은 더 넓은 방어 전략 수립에 어떻게 기여할 수 있는가?

주요 결과

• 백도어 공격는 사전 훈련 또는 미세조정 단계를 대상으로 할 경우 매우 효과적이며, 오염된 데이터나 프롬프트가 트리거 입력에서 일관된 악성 행동을 유도한다.
• 입력 트리거 공격는 수정된 텍스트나 레이블을 통해 공개된 데이터셋을 악용하여, 무고한 개발자가 모델을 훈련할 때 트리거를 삽입한다.
• 프롬프트 트리거 및 지시 트리거 공격는 모델 가중치를 변경하지 않기 때문에, 특정 입력 패턴을 통해 악성 출력을 유도하는 방식으로 높은 은밀성과 제어 가능성을 보인다.
• 예시 트리거 공격는 시각적으로 유사한 문자나 미세한 변형을 사용해 소수 예시를 조작하여, 모델이 잘못된 행동을 학습하도록 유도한다.
• 현재 기준 데이터셋은 주로 텍스트 분류 작업에 국한되어 있어, 기계 번역이나 질의 응답과 같은 다양한 LLM 응용 분야에서의 백도어 취약성 평가에 있어 상당한 연구 격차가 있음을 시사한다.
• 모델 미세조정 과정 동안에도 백도어가 지속되는 것은 여전히 도전 과제이며, 이는 방어 기법이 모델 적응 및 재훈련 과정을 고려해야 한다는 것을 시사한다.