[논문 리뷰] Learning to Invert: Simple Adaptive Attacks for Gradient Inversion in Federated Learning

Ruihan Wu, Xiangyu Chen외 2명|arXiv (Cornell University)|2022. 10. 19.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 연합 학습에서 기울기로부터 클라이언트 데이터를 재구성하는 데 목적이 있는 학습 기반 기울기 역행 공격인 Learning to Invert(LTI)를 제안한다. 최적화 기반 공격과는 달리, LTI는 방어를 데이터 증강으로 간주하여 방어에 적응하며, 시각 및 언어 작업 전반에서 최신 기술 수준의 성능을 달성한다. 이는 차분 개인정보 보호, 기울기 자르기, 부호 압축 방어 조건에서도 성립한다.

ABSTRACT

Gradient inversion attack enables recovery of training samples from model gradients in federated learning (FL), and constitutes a serious threat to data privacy. To mitigate this vulnerability, prior work proposed both principled defenses based on differential privacy, as well as heuristic defenses based on gradient compression as countermeasures. These defenses have so far been very effective, in particular those based on gradient compression that allow the model to maintain high accuracy while greatly reducing the effectiveness of attacks. In this work, we argue that such findings underestimate the privacy risk in FL. As a counterexample, we show that existing defenses can be broken by a simple adaptive attack, where a model trained on auxiliary data is able to invert gradients on both vision and language tasks.

연구 동기 및 목표

• 연합 학습에서 기울기 역행 공격에 대한 기존 방어 조치가 최적화 기반 공격 평가에 의존함으로써 부족함을 드러내는 것.
• 다양한 방어 메커니즘에 일반화할 수 있는 적응형 학습 기반 공격에 대한 평가 갭을 메우는 것.
• 시각 및 언어 작업 전반에서 다양한 기울기 압축 및 흐림 방어 조건 하에서도 일반화 가능한 간단하면서도 효과적인 학습 기반 공격 프레임워크를 제안하는 것.
• 차분 개인정보 보호 및 기울기 압축과 같은 강력한 방어 조건이 적용된 상황에서도, 학습된 역행 모델을 사용해 데이터 재구성이 가능함을 보여주는 것.
• LTI를 연합 학습 시스템의 개인정보 泄露 평가를 위한 새로운 기준으로 제안하는 것.

제안 방법

• 개인 정보 데이터와 유사한 분포를 가진 보조 데이터셋을 사용하여 기울기에서 입력 데이터로의 매핑을 학습하는 역행 모델 $g_{\theta}$를 훈련한다.
• 보조 데이터에 대해 전역 모델을 사용해 기울기를 계산함으로써, 역행 모델의 엔드 투 엔드 훈련을 가능하게 한다.
• 기울기 압축 또는 흐림 방어를 훈련 중 데이터 증강으로 간주하여, 역행 모델이 수정된 기울기 공간에 적응하도록 한다.
• 반복 최적화가 필요 없이 실제 연합 학습 환경에서의 기울기로부터 클라이언트 입력을 복원하기 위해 훈련된 역행 모델을 적용한다.
• 언어 모델링 사전 지식을 사용한 토큰 수준 재구성 방식을 통해 이산 데이터(예: 텍스트)로의 확장을 수행한다.
• 정확도 및 FID와 같은 지표를 사용해 TAG 및 Zhu et al. (2019)와 같은 최적화 기반 기준과 비교하여 성능를 평가한다.

실험 결과

연구 질문

• RQ1 표준 방어 조건 하에서, 기울기 역행 공격에 대해 최적화 기반 기존 방법보다 학습 기반 접근이 더 우수한 성능을 보일 수 있는가?
• RQ2 차분 개인정보 보호, 기울기 자르기, 부호 압축과 같은 방어 조건이 적용되었을 때, 제안된 LTI 공격의 효과성은 어떠한가?
• RQ3 예를 들어 무작위 단어 샘플링을 통한 가짜 문장과 같은 분포 외 보조 데이터로 훈련된 경우, 역행 모델의 일반화 능력은 어느 정도인가?
• RQ4 시각 및 언어 작업 전반에서 다양한 방어 메커니즘 하에서 LTI의 성능는 향상되거나 저하되는가?
• RQ5 다양한 기울기 압축 방식 하에서도 텍스트와 같은 이산 데이터에 대해 LTI를 적응시킬 수 있으며, 높은 재구성 품질을 유지할 수 있는가?

주요 결과

• CIFAR-10에 ResNet20를 사용할 때, 방어 조치가 없을 경우 LTI는 최고의 최적화 기반 방법(예: Zhu et al., 2019)과 유사한 복원 정확도를 달성한다.
• 기울기 자르기 및 부호 압축 방어 조건 하에서 LTI는 이전 공격들보다 뚜렷이 뛰어난 성능을 보이며, 부호 압축 조건에서 CIFAR-10에 ResNet20를 적용했을 때 87.34%의 정확도를 기록한다.
• CoLA 텍스트 분류 작업에서 LTI는 부호 압축 조건 하에서 86.19%의 정확도를 달성하여, 모든 방어 설정에서 TAG 및 기타 기준보다 뛰어난 성능을 보였다.
• 분포 외 보조 데이터(무작위 단어 샘플링)를 사용한 LTI-OOD는 WikiText에서 87.39%의 정확도를 기록하며, 일부 설정에서 LTI를 초월하여 강력한 일반화 능력을 보였다.
• 방어 조치가 적용된 상황에서도 공격가 효과적이며, 기울기 압축 및 흐림이 개인정보 泄露를 완전히 완화하지 못함을 입증하였다.
• LTI는 다양한 모델 아키텍처 및 작업 전반에서 강건하며, 시각 및 언어 작업 전반에서 최적화 기반 방법보다 일관되게 뛰어난 성능을 보였다.