[논문 리뷰] User Label Leakage from Gradients in Federated Learning.

Aidmar Wainakh, Fabrizio Ventola외 7명|arXiv (Cornell University)|2021. 05. 19.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 11

한 줄 요약

이 논문은 페더레이티드 러닝에서 공유되는 모델 기울기에서 사용자 레이블 정보를 추출하기 위해 기울기 방향과 크기를 분석하는 새로운 공격인 레이블 누출에서 기울기(Labeled Leakage from Gradients, LLG)를 제안한다. 이 공격는 학습 초반에 높은 레이블 복구 정확도를 달성하여, 페더레이티드 러닝의 개인정보 보호 가정에도 불구하고 기울기 공유가 민감한 레이블 데이터를 누출시킬 수 있음을 보여준다.

ABSTRACT

Federated learning enables multiple users to build a joint model by sharing their model updates (gradients), while their raw data remains local on their devices. In contrast to the common belief that this provides privacy benefits, we here add to the very recent results on privacy risks when sharing gradients. Specifically, we propose Label Leakage from Gradients (LLG), a novel attack to extract the labels of the users' training data from their shared gradients. The attack exploits the direction and magnitude of gradients to determine the presence or absence of any label. LLG is simple yet effective, capable of leaking potential sensitive information represented by labels, and scales well to arbitrary batch sizes and multiple classes. We empirically and mathematically demonstrate the validity of our attack under different settings. Moreover, empirical results show that LLG successfully extracts labels with high accuracy at the early stages of model training. We also discuss different defense mechanisms against such leakage. Our findings suggest that gradient compression is a practical technique to prevent our attack.

연구 동기 및 목표

• 페더레이티드 러닝에서 공유되는 기울기가 사용자 로컬 데이터의 민감한 레이블 정보를 누출시킬 수 있는지 조사하기 위해.
• 기울기 공유가 페더레이티드 러닝에서 사용자 개인정보를 보존한다는 일반적인 가정을 도전하기 위해.
• 기울기에서 레이블 재구성에 대한 실용적이고 확장 가능한 방법을 개발하기 위해.
• 다양한 학습 조건과 모델 아키텍처 하에서 공격의 효과성을 평가하기 위해.
• 특히 기울기 압축을 포함한 방어 기법을 탐색하기 위해.

제안 방법

• LLG는 특정 레이블이 사용자 학습 데이터에 존재하는지 여부를 추론하기 위해 기울기의 방향과 크기를 분석한다.
• 다수의 학습 단계에 걸친 기울기 업데이트의 통계적 패턴을 이용해 레이블 분포를 재구성한다.
• 원시 데이터나 모델 파라미터에 접근할 필요 없이, 공유된 기울기만으로 작동한다.
• 이 방법은 임의의 배치 크기와 다중 분류 작업에 대해 효율적으로 확장 가능하도록 설계되어 있다.
• 수학적 분석과 실증적 평가를 통해 공격의 타당성과 정확도를 검증한다.
• 기울기 압축을 기울기의 정보 누출을 줄이기 위한 방어 수단으로 평가한다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝에서 공유된 기울기에서 레이블 정보를 재구성할 수 있는가?
• RQ2 레이블 누출 공격의 정확도는 모델 학습의 다양한 단계에서 어떻게 되는가?
• RQ3 공격는 큰 배치 크기와 다중 분류 설정으로 확장 가능한가?
• RQ4 레이블 누출을 가능하게 하는 주요 기울기 성질은 무엇인가?
• RQ5 기울기 압축은 모델 성능에 해를 끼치지 않으면서 레이블 누출을 효과적으로 방지할 수 있는가?

주요 결과

• LLG는 페더레이티드 모델 학습의 초반 단계에서 높은 정확도로 레이블을 성공적으로 추출한다.
• 공격는 원시 데이터에 접근하지 않더라도 기울기 방향과 크기를 활용해 레이블 존재 여부를 추론한다.
• 페더레이티드 러닝의 설계 목표인 데이터 개인정보 보호에도 불구하고 레이블 누출이 발생한다.
• 공격는 다양한 배치 크기와 다중 분류 분류 작업에서 효과적이다.
• 기울기 압축은 LLG에 대한 실용적이고 효과적인 방어 수단으로 밝혀졌다.
• 수학적 및 실증적 분석을 통해 레이블 누출 공격의 강건성과 확장 가능성이 확인되었다.