[논문 리뷰] Analysis of Privacy Leakage in Federated Large Language Models

Minh N. Vu, Truc Nguyen외 2명|arXiv (Cornell University)|2024. 03. 02.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 피드포워드 미세조정에서의 프라이버시 泄露를 조사하며, BERT, RoBERTa, DistilBERT 및 GPT 모델에서 최대 0.99 AUC에 이르는 거의 완벽한 성공률을 기록하는 두 가지 주동적 소속성 추론 공격(전체 연결층 및 자기어텐션층을 대상으로 함)을 제안한다. 이론적 분석을 통해 공격 성공의 증명 가능성을 입증하였으며, 실험 결과는 차별적 프라이버시(Differential Privacy) 조건 하에서도 심각한 프라이버시 위험을 드러내어, 파rameter 효율적인 피드포워드 학습 설정에서의 아키텍처적 취약성을 확인한다.

ABSTRACT

With the rapid adoption of Federated Learning (FL) as the training and tuning protocol for applications utilizing Large Language Models (LLMs), recent research highlights the need for significant modifications to FL to accommodate the large-scale of LLMs. While substantial adjustments to the protocol have been introduced as a response, comprehensive privacy analysis for the adapted FL protocol is currently lacking. To address this gap, our work delves into an extensive examination of the privacy analysis of FL when used for training LLMs, both from theoretical and practical perspectives. In particular, we design two active membership inference attacks with guaranteed theoretical success rates to assess the privacy leakages of various adapted FL configurations. Our theoretical findings are translated into practical attacks, revealing substantial privacy vulnerabilities in popular LLMs, including BERT, RoBERTa, DistilBERT, and OpenAI's GPTs, across multiple real-world language datasets. Additionally, we conduct thorough experiments to evaluate the privacy leakage of these models when data is protected by state-of-the-art differential privacy (DP) mechanisms.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)에 대한 피드포워드 학습(FL)에서의 포괄적인 프라이버시 분석 부족 문제를 해결하기 위해, 특히 파rameter 효율적인 미세조정(PET) 설정에서의 프라이버시 위험을 분석한다.
• 모델의 일부 파라미터만 업데이트하는 LLM용 수정된 FL 프로토콜이 통신 오버헤드를 줄이지만, 새로운 프라이버시 취약점을 유발하는가를 조사한다.
• 이러한 맥락에서 최신의 차별적 프라이버시(DP) 메커니즘이 소속성 추론 공격을 완화하는 데 얼마나 효과적인지 평가한다.
• 실제 LLM과 데이터셋에서 이론적 프라이버시 보장을 실질적 공격 가능성과 연결하여 격차를 메운다.

제안 방법

• 미세조정된 LLM의 전체 연결층과 자기어텐션층을 대상으로 하는 두 가지 주동적 소속성 추론(AMI) 공격을 제안한다.
• 불량한 FL 서버가 전체 연결층 업데이트를 통해 완벽한 소속성 추론을 달성할 수 있음을 증명하는 이론적 프레임워크를 설계한다(정리 1), 성공률의 증명 가능한 상한을 제시한다.
• 자기어텐션 메커니즘의 기울기 패턴을 악용하여 높은 보장 성공률을 갖는 자기어텐션 기반 AMI 공격을 개발한다(정리 2).
• 모델 특화 기반 기울기 통계와 계층별 특징 표현을 활용하여, 주어진 데이터 샘플이 클라이언트의 훈련 세트에 포함되었는지 여부를 추론하는 실용적 공격을 구현한다.
• 토큰 인덱스 수준에서 다수의 차별적 프라이버시 메커니즘(GRR, RAPPOR, HE, dBitFlipPM)을 적용하여 제안된 공격에 대한 내성 강도를 평가한다.
• 다중 주파수 LDP 라이브러리(Multi-Freq-LDPy)를 활용해 DP 보장을 강제하면서도, 다양한 모델과 데이터셋에서 공격 성능을 측정한다.

실험 결과

연구 질문

• RQ1 불량한 FL 서버가 미세조정된 LLM의 가시적 파라미터만 조작하여 소속성 추론 공격에서 증명 가능한 높은 성공률을 달성할 수 있는가?
• RQ2 피드포워드 학습에서 파라미터 효율적인 미세조정 방법(예: 어댑터 또는 LoRA)이 전체 미세조정에 비해 새로운 프라이버시 공격 벡터를 유도하는가?
• RQ3 표준 차별적 프라이버시 메커니즘이 피드포워드 환경에서 LLM의 소속성 추론 공격을 보호하는 데 얼마나 효과적인가?
• RQ4 아키텍처적 차이(예: 인코더 대 비트랜스포머)가 LLM의 소속성 추론 공격에 대한 내성에 영향을 미치는가?
• RQ5 공격 성공률은 모델의 다양한 계층에서 달라지며, 만약 그렇다면 가장 취약한 지점은 어디인가?

주요 결과

• 전체 연결층 기반 공격은 BERT와 RoBERTa에서 최대 AUC 0.99, 정확도 0.96를 기록하여 초기 및 중간 계층에서 거의 완벽한 소속성 추론을 가능하게 한다.
• 자기어텐션 기반 공격은 BERT에서 AUC 0.92, RoBERTa에서 AUC 0.95를 기록하며 중간 계층에서 기여도가 높은 프라이버시 泄露를 드러낸다.
• 강력한 DP 보장(ε = 10) 조건 하에서도 FC-Token 공격은 BERT와 RoBERTa에서 높은 성공률(AUC > 0.90)을 유지하여, DP만으로는 소속성 추론을 방지하는 데 부족함을 보여준다.
• 가우시안 메커니즘 기반 DP(GRR)는 모든 DP 메커니즘 중에서 가장 높은 공격 성공률를 기록하며, 성능은 모델과 공격 유형에 따라 다소 차이를 보인다.
• GPT 모델는 BERT 기반 모델보다 자기어텐션 기반 공격에 더 강건한 편이며, 이는 아키텍처적 차이(디코더 전용 대 비트랜스포머 전용) 때문일 수 있다.
• 깊은 계층으로 갈수록 공격 성공률는 감소하지만, BERT와 RoBERTa의 중간 계층 FC-Token 공격에서 약간의 증가가 관찰되어 프라이버시 泄露의 잠재적 핫스팟을 시사한다.