[논문 리뷰] Decepticons: Corrupted Transformers Breach Privacy in Federated Learning for Language Models

Liam Fowl, Jonas Geiping외 5명|arXiv (Cornell University)|2022. 01. 29.

Privacy-Preserving Technologies in Data인용 수 10

한 줄 요약

이 논문은 페더레이티드 러닝에서 비밀 유지 공격을 위한 새로운 기법인 Decepticons를 소개한다. 이 공격은 손상된 트랜스포머 모델을 악용하여 기울기 업데이트를 통해 개인 정보가 담긴 사용자 텍스트를 추출한다. 모델의 임bedding 레이어를 조작하고 통계적 복원 기법을 활용함으로써, 배치 집계, 긴 시퀀스, 노이즈 조건에서도 높은 정밀도로 텍스트 시퀀스를 복원할 수 있다. 이는 신뢰할 수 없는 서버 환경에서 심각한 개인정보 유출 위험을 드러낸다.

ABSTRACT

A central tenet of Federated learning (FL), which trains models without centralizing user data, is privacy. However, previous work has shown that the gradient updates used in FL can leak user information. While the most industrial uses of FL are for text applications (e.g. keystroke prediction), nearly all attacks on FL privacy have focused on simple image classifiers. We propose a novel attack that reveals private user text by deploying malicious parameter vectors, and which succeeds even with mini-batches, multiple users, and long sequences. Unlike previous attacks on FL, the attack exploits characteristics of both the Transformer architecture and the token embedding, separately extracting tokens and positional embeddings to retrieve high-fidelity text. This work suggests that FL on text, which has historically been resistant to privacy attacks, is far more vulnerable than previously thought.

연구 동기 및 목표

• 신뢰할 수 없는 서버가 존재하는 자연어 처리(NLP) 애플리케이션에서 페더레이티드 러닝의 취약성을 폭 드러내기 위해.
• 실제 위협 모델을 고려할 때, 트랜스포머 기반 언어 모델의 기울기 업데이트가 개인 텍스트 정보를 누출하는지 조사하기 위해.
• 배치 집계 및 노이즈가 존재하는 상황에서도 모델 기울기에서 토큰 식별자와 절대 위치를 모두 복원할 수 있는 방법을 개발하기 위해.
• 작은 모델과 큰 모델 모두에서 이러한 공격의 타당성을 평가하기 위해. 특히 BERT 크기의 10% 정도인 모델을 포함하여.
• NLP를 위한 페더레이티드 러닝에서 모델 집계 또는 작은 모델 크기 자체가 개인정보 보호를 보장한다는 가정을 도전하기 위해.

제안 방법

• 페더레이티드 트레이닝 동안 클라이언트 측 모델 업데이트를 손상시킬 수 있도록 서버 모델에 악성 파라미터 벡터를 배치한다.
• 트랜스포머의 임베딩 레이어의 구조를 악용하기 위해 첫 번째 선형 레이어를 공유된 가우시안 벡터로 초기화하여 입력 임베딩을 기울기 항목에 인코딩한다.
• 렐루(ReLU) 활성화 함수를 사용해 임베딩 벡터를 이산적인 기울기 항목으로 매핑함으로써 토큰 수준의 신호를 추출할 수 있도록 한다.
• 희소 신호 복원 기법(예: K-SVD 기반 직교 매칭 추적)을 적용하여 기울기 박스에 걸친 임베딩의 누적합을 노이즈 제거 및 복원한다.
• 기울기 패턴과 박스 전략 분석을 통해 별도로 토큰 임베딩과 위치 임베딩을 추출한다.
• 통계적 할당 및 임계값 설정(예: 1.5 표준편차)을 통해 유사한 토큰 매칭과 그 위치를 식별한다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝에서 악성 서버가 트랜스포머 기반 언어 모델의 기울기 업데이트로부터 개인 텍스트를 복원할 수 있는가?
• RQ2 배치 집계 또는 모델 크기가 NLP 분야의 기울기 역전공격 성공에 어느 정도 영향을 미치는가?
• RQ3 기울기 업데이트만으로도 토큰 식별자와 절대 위치를 고정밀도로 복원할 수 있는가?
• RQ4 기울기 클리핑 및 라플라스 노이즈와 같은 방어 조치에 대해 공격의 강건성은 어떠한가?
• RQ5 악성 서버 위협 모델은 실제 페더레이티드 NLP 구현에 대해 현실적이며 영향력 있는가?

주요 결과

• Decepticon 공격는 3,000자 이상의 긴 시퀀스까지도 높은 정밀도로 전체 텍스트 시퀀스를 복원할 수 있으며, 토큰 식별자와 절대 위치까지 모두 포함한다.
• 100명 이상의 사용자가 참여하는 배치 집계 조건에서도 공격가능성이 유지되어 단일 사용자 또는 소규모 배치 환경을 뛰어넘는 확장성을 입증한다.
• 작은 모델(예: BERT 크기의 10%)에서도 복원이 가능하여, 모델 크기 자체가 개인정보 보호를 보장하지는 않음을 시사한다.
• 기울기 클리핑 및 라플라스 노이즈와 같은 일반적인 방어 조치에도 불구하고 공격 성공률가 높게 유지되어 강건성을 입증한다.
• 총 유출 토큰 수는 3층 트랜스포머 기준 약 4,096개, GPT-2 기준 약 36,864개에 이르며, 이는 배치 크기와 시퀀스 길이에 따라 달라지며, 심각한 데이터 유출 가능성을 시사한다.
• 입력의 상당 부분에서 정확한 토큰과 위치 복원이 이루어지며, 높은 노이즈 수준에서는 성능 저하가 예측 가능하게 발생한다.