[논문 리뷰] Client-side Gradient Inversion Against Federated Learning from Poisoning

Jiaheng Wei, Yanjun Zhang외 6명|arXiv (Cornell University)|2023. 09. 14.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 피드포워드 학습에서 서버 제어나 강력한 사전 지식 없이도, 집계된 기울기에서 기밀 훈련 데이터를 복원할 수 있는, 처음으로 클라이언트 측 기반 기울기 역전공격인 CGI를 제안한다. 타깃 클래스의 기울기를 강화하기 위해 전역 모델을 오염시킴으로써, CGI는 이러한 기울기가 집계 과정에서 지배적이 되도록 하여, 비잔틴에 강건한 집계 규칙이 적용된 상황에서도 효과적인 복원을 가능하게 하며, 다양한 데이터 설정에서 일관된 성공을 보인다.

ABSTRACT

Federated Learning (FL) enables distributed participants (e.g., mobile devices) to train a global model without sharing data directly to a central server. Recent studies have revealed that FL is vulnerable to gradient inversion attack (GIA), which aims to reconstruct the original training samples and poses high risk against the privacy of clients in FL. However, most existing GIAs necessitate control over the server and rely on strong prior knowledge including batch normalization and data distribution information. In this work, we propose Client-side poisoning Gradient Inversion (CGI), which is a novel attack method that can be launched from clients. For the first time, we show the feasibility of a client-side adversary with limited knowledge being able to recover the training samples from the aggregated global model. We take a distinct approach in which the adversary utilizes a malicious model that amplifies the loss of a specific targeted class of interest. When honest clients employ the poisoned global model, the gradients of samples belonging to the targeted class are magnified, making them the dominant factor in the aggregated update. This enables the adversary to effectively reconstruct the private input belonging to other clients using the aggregated update. In addition, our CGI also features its ability to remain stealthy against Byzantine-robust aggregation rules (AGRs). By optimizing malicious updates and blending benign updates with a malicious replacement vector, our method remains undetected by these defense mechanisms. To evaluate the performance of CGI, we conduct experiments on various benchmark datasets, considering representative Byzantine-robust AGRs, and exploring diverse FL settings with different levels of adversary knowledge about the data. Our results demonstrate that CGI consistently and successfully extracts training input in all tested scenarios.

연구 동기 및 목표

• 서버 제어나 강력한 사전 지식이 필요하지 않은 클라이언트 측 기울기 역전공격에 대한 격차를 메우기 위해.
• 주 훈련 프레임워크를 변경하거나 모델 성능을 떨어뜨리지 않고도 클라이언트 측에서 기울기 역전공격을 수행할 수 있는 방법을 개발하기 위해.
• 비잔틴에 강건한 집계 규칙(AGRs)에 의해 탐지되지 않도록 공격을 설계하기 위해.
• 적대자 지식 수준이 다양할 경우(완전, 반완전, 무지) 공격의 효과성을 평가하기 위해.
• 기존 방어 기법인 보안 집계, 차별적 프라이버시, 데이터 중복 제거의 한계를 분석하기 위해.

제안 방법

• 적대자는 특정 타깃 클래스의 손실을 인위적으로 증가시켜, 해당 클래스의 샘플에 대해 기울기 크기를 증가시키는 악성 모델을 훈련시킨다.
• 이 오염된 모델을 사용해 전역 모델을 업데이트함으로써, 이후 집계 과정에서 타깃 클래스의 기울기가 지배적이 되도록 한다.
• 적대자는 집계된 전역 업데이트를 사용해 기울기를 역전공하고, 다른 클라이언트의 기밀 훈련 샘플을 복원한다.
• 도청을 피하기 위해, 악성 업데이트와 정상 업데이트를 치수 벡터를 통해 혼합하며, 탐지 회피를 위해 하이퍼파라미터를 조정한다.
• 배치 정규화, 데이터 분포 사전 지식, 모델 파라미터 조작 없이도 작동한다.
• 집계된 업데이트에서 타깃 기울기의 지배성을 측정하는 손실 갭 메트릭($\mathcal{L}_{gap}$)을 사용해 공격를 최적화한다.

실험 결과

연구 질문

• RQ1 서버 제어나 강력한 사전 지식 없이도 클라이언트 측에서 집계된 기울기에서 기밀 훈련 데이터를 복원할 수 있는가?
• RQ2 비잔틴에 강건한 집계 규칙이 악성 업데이트를 탐지하도록 설계되었을 때, 이 공격의 효과성은 어떠한가?
• RQ3 적대자가 타깃 클래스 외의 데이터 분포 정보를 전혀 알지 못할 경우에도 공격가 효과적인가?
• RQ4 손실 갭($\mathcal{L}_{gap}$)이 복원 성능에 얼마나 큰 영향을 미치는가?
• RQ5 차별적 프라이버시나 보안 집계와 같은 기존 방어 기법이 이 클라이언트 측 기울기 역전공격을 완화할 수 있는가?

주요 결과

• CGI는 CIFAR-10, SVHN, Fashion-MNIST를 포함한 모든 테스트 벤치마크 데이터셋에서 다양한 피드포워드 학습 환경에서 기밀 훈련 샘플을 성공적으로 복원한다.
• 공격는 높은 복원 품질을 달성하며, PSNR 값은 손실 갭($\mathcal{L}_{gap}$)이 증가함에 따라 증가하여 $\mathcal{L}_{gap} \approx 1$일 때 최적 성능에 도달한다.
• CGI는 높은 은폐성을 유지하며, 악성 업데이트와 정상 업데이트를 효과적으로 혼합함으로써 비잔틴에 강건한 집계 규칙에 의해 탐지되지 않는다.
• 적대자가 데이터 분포 정보를 전혀 알지 못하는 '무지' 조건에서도 공격가 효과적이며, 제한된 사전 지식에 대한 강건성을 입증한다.
• 차별적 프라이버시와 보안 집계는 CGI에 대해 무력하며, 공격가 기울기의 민감도를 증폭시키기 때문에 프라이버시를 유지하기 위해 현실적으로 불가능한 수준의 노이즈가 필요하기 때문이다.
• 데이터 중복 제거 기반 방어는 실패한다. 왜냐하면 CGI는 훈련 샘플의 기억을 기반으로 하지 않기 때문이다.