[논문 리뷰] Last One Standing: A Comparative Analysis of Security and Privacy of Soft Prompt Tuning, LoRA, and In-Context Learning

Rui Wen, Tianhao Wang외 3명|arXiv (Cornell University)|2023. 10. 17.

Privacy-Preserving Technologies in DataComputer Science인용 수 3

한 줄 요약

이 논문은 소프트 프롬프트 튜닝(SPT), LoRA, 그리고 인라인 컨텍스트 학습(ICL)의 개인정보 및 보안 성질에 대해 체계적인 비교 분석을 수행한다. 세 가지 대규모 언어 모델 아키텍처와 네 가지 NLP 데이터셋을 대상으로 회원 식별 공격, 백도어 공격, 모델 도용 공격에 대한 내성적 저항력을 평가한 결과, 어떤 방법도 항상 안전하거나 비밀스럽지 않으며, ICL은 회원 식별 공격에 가장 취약하고, LoRA/SPT는 백도어 공격에 더 취약하며, 세 방법 모두 모델 도용 공격에 취약한 것으로 드러났다.

ABSTRACT

Large Language Models (LLMs) are powerful tools for natural language processing, enabling novel applications and user experiences. However, to achieve optimal performance, LLMs often require adaptation with private data, which poses privacy and security challenges. Several techniques have been proposed to adapt LLMs with private data, such as Low-Rank Adaptation (LoRA), Soft Prompt Tuning (SPT), and In-Context Learning (ICL), but their comparative privacy and security properties have not been systematically investigated. In this work, we fill this gap by evaluating the robustness of LoRA, SPT, and ICL against three types of well-established attacks: membership inference, which exposes data leakage (privacy); backdoor, which injects malicious behavior (security); and model stealing, which can violate intellectual property (privacy and security). Our results show that there is no silver bullet for privacy and security in LLM adaptation and each technique has different strengths and weaknesses.

연구 동기 및 목표

• 세 가지 주요 LLM 적응 기법인 SPT, LoRA, ICL의 개인정보 및 보안 성질을 체계적으로 평가하는 것.
• 회원 식별 공격(개인정보), 백도어 공격(보안), 모델 도용 공격(개인정보 및 보안)과 같은 세 가지 주요 위협에 대한 내성적 저항력을 평가하는 것.
• 개인적 또는 민감한 데이터를 포함하는 실세계 환경에서 각 방법의 강점과 약점을 규명하는 것.
• 위협 모델과 위협 표면을 기반으로 전문가들이 적합한 적응 기법을 선택할 수 있도록 실질적인 통찰을 제공하는 것.

제안 방법

• 연구는 세 가지 LLM 아키텍처인 GPT2, GPT2-XL, LLaMA에서 SPT, LoRA, ICL을 평가한다.
• 성능 평가를 위해 네 가지 벤치마크 NLP 데이터셋인 DBPedia, AGNews, TREC, SST-2를 사용하여 다양한 작업에 대한 성능을 분석한다.
• 회원 식별 공격(MIAs)은 데이터 유출 위험을 측정하기 위해 적용되며, 공격 성공률을 개인정보 지표로 사용한다.
• 백도어 공격은 트리거를 포함한 훈련 데이터를 오염시켜 공격 성공률(ASR)과 성능 저하 정도를 측정함으로써 평가된다.
• 모델 도용 공격은 쿼리 기반 또는 데이터 기반 모방을 통해 적응 모델을 얼마나 쉽게 복제할 수 있는지 측정함으로써 시뮬레이션된다.
• 실험은 오염 비율(0.25, 0.5, 0.75)과 테스트 트리거 배치 위치(첫 번째 vs. 마지막 예시)를 변화시켜 내성적 저항력을 평가한다.

(a) GPT2

실험 결과

연구 질문

• RQ1 SPT, LoRA, ICL는 회원 식별 공격에 대해 어떻게 서로 다른 내성적 저항력을 보이는가?
• RQ2 다양한 오염 비율에서 각 적응 기법의 백도어 공격에 대한 취약도는 어떠한가?
• RQ3 이들 방법은 특히 GPT-3.5가 생성한 합성 데이터를 사용할 경우 모델 도용 공격에 얼마나 취약한가?
• RQ4 ICL에서 오염된 예시의 위치(프롬프트의 첫 번째 또는 마지막)는 백도어 성공률에 영향을 미치는가?
• RQ5 모델 크기와 아키텍처는 이러한 적응 기법의 보안 및 개인정보 성질에 어떤 영향을 미치는가?

주요 결과

• ICL는 회원 식별 공격에 가장 취약하며, LoRA 및 SPT보다 유의미하게 높은 공격 성공률을 보였다.
• LoRA 및 SPT는 오염 비율이 높아질수록 공격 성공률이 증가하는 경향을 보였지만, ICL는 모든 오염 수준에서 랜덤 추측 수준에 머물렀다.
• 모든 세 방법이 모델 도용 공격에 매우 취약했으며, GPT-3.5가 생성한 데이터를 사용할 경우 고정밀도의 모델 복제가 가능했다.
• ICL에서 오염된 예시의 위치(프롬프트의 첫 번째 또는 마지막)는 백도어 성공률에 미미한 영향을 미쳤으며, 입력 순서가 트리거 효과에 미치는 영향이 제한적임을 시사했다.
• SPT 및 LoRA는 특히 높은 오염 비율에서 높은 백도어 성공률를 보였지만, ICL는 소수의 예시 기반 내재된 모델 지식에 의존함으로써 안정성을 유지했다.
• 계산 효율성은 높지만, 어느 방법도 보편적인 개인정보 또는 보안 이점을 제공하지 않아, 맞춤형 방어 전략의 필요성을 강조했다.

(b) GPT2-XL