[논문 리뷰] Forcing Generative Models to Degenerate Ones: The Power of Data Poisoning Attacks

Shuli Jiang, Swanand Kadhe외 3명|arXiv (Cornell University)|2023. 12. 07.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 자연어 생성(NLG) 작업을 위해 피인용된 대규모 언어 모델(LLM)에 대한 데이터 풀링 공격을 조사하며, 단지 1%의 오염된 학습 데이터만으로도 모델의 행동을 성공적으로 조작할 수 있음을 보여준다. 공격 성공도와 은밀함을 평가하기 위해 새로운 지표인 '오염된 타겟 매칭'과 '은밀한 퍼즐리티'를 제안하며, 트리거 길이와 위치가 특히 T5-small 및 GPT-2 모델을 사용한 텍스트 완성 및 요약 작업에서 효과성에 크게 영향을 준다는 것을 밝혀낸다.

ABSTRACT

Growing applications of large language models (LLMs) trained by a third party raise serious concerns on the security vulnerability of LLMs.It has been demonstrated that malicious actors can covertly exploit these vulnerabilities in LLMs through poisoning attacks aimed at generating undesirable outputs. While poisoning attacks have received significant attention in the image domain (e.g., object detection), and classification tasks, their implications for generative models, particularly in the realm of natural language generation (NLG) tasks, remain poorly understood. To bridge this gap, we perform a comprehensive exploration of various poisoning techniques to assess their effectiveness across a range of generative tasks. Furthermore, we introduce a range of metrics designed to quantify the success and stealthiness of poisoning attacks specifically tailored to NLG tasks. Through extensive experiments on multiple NLG tasks, LLMs and datasets, we show that it is possible to successfully poison an LLM during the fine-tuning stage using as little as 1\% of the total tuning data samples. Our paper presents the first systematic approach to comprehend poisoning attacks targeting NLG tasks considering a wide range of triggers and attack settings. We hope our findings will assist the AI security community in devising appropriate defenses against such threats.

연구 동기 및 목표

• LLM의 자연어 생성(NLG) 작업을 위해 피인용된 모델에 대한 데이터 풀링 공격의 가능성과 효과성을 조사하는 것.
• 출력 공간이 확률적이며 레이블 뒤집기가 모호한 NLG 환경에서 공격 성공도와 은밀함을 평가하기 위한 표준화된 지표의 부족 문제를 해결하는 것.
• 전체 피인용과 효율적인 파rameter 피인용(PEFT), 특히 프리픽스 튜닝을 포함한 다양한 NLG 작업에서의 공격에 대한 취약성 비교.
• 트리거 특성—예를 들어 상대 길이와 위치—이 NLG 환경에서 공격 효과성에 미치는 영향 분석

제안 방법

• 공격 성공도를 측정하기 위해, 타겟 출력의 일부가 모델 생성 결과에 그대로 포함되는 비율을 측정하는 새로운 평가 지표인 '오염된 타겟 매칭'을 제안하며, 이는 관련 없는 맥락과 무관하게 적용된다.
• 은밀함을 평가하기 위해 '은밀한 퍼즐리티'를 도입하며, 오염된 입력과 정상 입력 간의 퍼즐리티를 비교하여 모델의 행동이 정상 모델과 얼마나 유사한지 평가한다.
• 기존의 데이터 풀링 기법을 활용하여 트리거가 포함된 입력과 공격자 제어 타겟 출력을 피인용 학습 데이터셋에 삽입한다.
• 텍스트 요약 및 텍스트 완성 작업에 대해 T5-small 및 GPT-2 모델을 전수 피인용 및 프리픽스 튜닝(PEFT 방법)을 통해 피인용한다.
• 공격 성공도에 미치는 영향을 분석하기 위해 트리거 길이, 위치(고정 vs. 유동), 삽입 방법(단어 수준 vs. 문장 수준)을 체계적으로 변화시킨다.
• ROUGE 점수와 퍼즐리티를 기준 지표로 사용하지만, NLG 작업에서 진정한 공격 성공도를 포착하는 데에는 한계가 있음을 입증한다.

실험 결과

연구 질문

• RQ1 텍스트 요약 및 텍스트 완성과 같은 NLG 작업을 위해 피인용된 LLM에 대해 데이터 풀링 공격이 성공적으로 모델 행동을 조작할 수 있는가?
• RQ2 트리거 길이와 위치는 NLG 환경에서 공격 성공도와 은밀함에 어떤 영향을 미치는가?
• RQ3 전체 피인용과 프리픽스 튜닝을 포함한 다양한 피인용 방법 간에 공격에 대한 취약성은 어떻게 비교되는가?
• RQ4 ROUGE 및 퍼즐리티와 같은 표준 지표가 NLG 작업에서 공격 성공도를 얼마나 정확하게 반영하는가?
• RQ5 확률적이고 개방형인 NLG 작업 환경에서 공격 성공도와 은밀함을 효과적으로 평가하기 위해 어떤 새로운 지표가 필요한가?

주요 결과

• 단지 1%의 오염된 학습 데이터만으로도 텍스트 요약 및 텍스트 완성 작업 모두에서 LLM의 행동을 성공적으로 조작할 수 있으며, 높은 공격 성공률를 달성한다.
• 오염된 타겟 매칭 지표는 특히 타겟 어휘가 자연스럽게 맥락 이외에 포함되는 텍스트 완성 작업에서 ROUGE보다 진정한 공격 성공도를 더 잘 포착한다.
• 트리거의 상대 길이와 위치는 핵심 요소이다: 더 긴 트리거와 전략적으로 배치된 트리거(예: 문장 경계에서)는 공격 성공도를 크게 향상시킨다.
• 텍스트 완성에서는 전체 피인용이 프리픽스 튜닝보다 더 취약하지만, 텍스트 요약에서는 반대로 더 적은 취약성을 보이며, 이는 작업에 따라 취약성이 달라짐을 시사한다.
• 은밀한 퍼즐리티는 은밀함을 효과적으로 측정하며, 오염된 모델이 정상 모델과 유사한 퍼즐리티를 유지함으로써 탐지 가능성은 낮다는 것을 보여준다.
• 최적의 경우, 1%의 오염된 데이터로 GPT-2에서 오염된 타겟 매칭 지표가 0.9826(98.26%)에 도달했으며, 은밀한 퍼즐리티는 정상 모델의 값과 0.1 이내로 유지되었다.