[논문 리뷰] Towards General Deep Leakage in Federated Learning

Jiahui Geng, Yongli Mou외 5명|arXiv (Cornell University)|2021. 10. 18.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 23

한 줄 요약

이 논문은 배치에 중복 레이블이 포함되어 있을 경우에도 공유된 기울기(FedSGD) 또는 모델 가중치(FedAvg)에서 훈련 이미지와 레이블을 복원하는 새로운 강건한 딥 레이크리지 공격을 제안한다. 이는 이전 연구의 핵심 한계를 극복한다. 레이블 분포나 클래스 수에 대한 사전 지식이 필요 없는 제로샷 레이블 복원 방법과 이미지 품질 및 일관성을 향상시키는 정규화 기법을 도입하여, CIFAR-10과 ImageNet에서 고해상도 성능을 달성하며, 대용량 배치와 반복 레이블 조건에서도 최신 기술 수준을 넘어서는 성능을 보인다.

ABSTRACT

Unlike traditional central training, federated learning (FL) improves the performance of the global model by sharing and aggregating local models rather than local data to protect the users' privacy. Although this training approach appears secure, some research has demonstrated that an attacker can still recover private data based on the shared gradient information. This on-the-fly reconstruction attack deserves to be studied in depth because it can occur at any stage of training, whether at the beginning or at the end of model training; no relevant dataset is required and no additional models need to be trained. We break through some unrealistic assumptions and limitations to apply this reconstruction attack in a broader range of scenarios. We propose methods that can reconstruct the training data from shared gradients or weights, corresponding to the FedSGD and FedAvg usage scenarios, respectively. We propose a zero-shot approach to restore labels even if there are duplicate labels in the batch. We study the relationship between the label and image restoration. We find that image restoration fails even if there is only one incorrectly inferred label in the batch; we also find that when batch images have the same label, the corresponding image is restored as a fusion of that class of images. Our approaches are evaluated on classic image benchmarks, including CIFAR-10 and ImageNet. The batch size, image quality, and the adaptability of the label distribution of our approach exceed those of GradInversion, the state-of-the-art.

연구 동기 및 목표

• 공유 모델 업데이트에서 비공개 훈련 데이터를 재구성할 수 있는 피드포워드 러닝의 심각한 프라이버시 취약점을 해결하기 위해.
• 이전의 재구성 공격가 배치에 중복 레이블이 포함될 경우 실패하는 한계를 극복하기 위해.
• 다양한 로컬 훈련 에포크 이후에도 공유 기울기(FedSGD) 및 모델 가중치(FedAvg)에서 이미지와 레이블을 모두 복원할 수 있는 방법을 개발하기 위해.
• 이미지 초기화 및 정규화 항을 도입하여 이미지 재구성 품질을 향상시키고, 복원된 이미지와 레이블 간의 일치도를 평가하기 위해.
• 레이블 오인ferred가 이미지 복원 품질을 심각하게 떨어뜨리며, 동일 클래스의 이미지가 재구성 과정에서 융합됨을 입증하기 위해.

제안 방법

• 레이블 분포나 클래스 수에 대한 사전 지식이 필요 없는 제로샷 레이블 복원 방법을 제안하여, 반복 레이블 조건에서도 강건한 추론이 가능하도록 한다.
• 새로운 이미지 초기화 전략과 총 변동성 및 레이블 인식 일관성이라는 두 가지 정규화 항을 도입하여 이미지 재구성 정밀도를 향상시킨다.
• 동일한 배치에서의 다중 기울기 또는 가중치 업데이트를 활용하여 반복 최적화를 통해 이미지 복원 품질을 향상시키는 프레임워크를 설계한다.
• 이미지 및 레이블 예측을 동시에 개선하는 공동 최적화 과정을 적용하여 상호의존성을 모델링하고 전체 재구성 정확도를 향상시킨다.
• 이미지와 레이블 일관성 기반의 유사도 정렬 지표를 사용하여 복원된 데이터의 품질을 평가하고, 현실적이고 의미적으로 일관된 출력을 보장한다.
• FedSGD(기울기 공유) 및 FedAvg(가중치 공유) 시나리오 모두에 적용하여 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 배치 레이블이 유일하지 않을 경우, 피드포워드 러닝에서 공유된 기울기 또는 가중치에서 훈련 데이터를 재구성할 수 있는가?
• RQ2 레이블 오인ferred는 피드포워드 러닝 공격에서 이미지 재구성 품질에 어떤 영향을 미치는가?
• RQ3 동일한 배치 데이터에서의 다중 업데이트를 활용하면 이미지 재구성 품질을 향상시킬 수 있는가?
• RQ4 레이블 분포(예: 반복 레이블)는 이미지 및 레이블 복원 성공에 어떤 영향을 미치는가?
• RQ5 재구성 과정에서 동일 클래스의 이미지가 융합될 경우, 복원 샘플의 현실성과 의미 정확도에 어떤 영향을 미치는가?

주요 결과

• 배치 크기가 16인 조건에서 ImageNet에서 레이블 복원 정확도가 99.60%에 달하며, 레이블이 최대 8번 반복되더라도 GradInversion이 동일 조건에서 49.39%로 떨어지는 것과 대비된다.
• 중복 레이블 조건에서도 이미지 재구성 품질이 높은 편이다: 한 레이블이 반복될 경우 MSE는 GradInversion의 0.199에서 본 연구의 0.018로 감소하고, PSNR는 10.639에서 19.122로 상승한다.
• 모든 이미지가 동일한 레이블을 가질 경우, 메서드는 클래스 프로토타입을 닮은 융합된 이미지를 재구성하여 클래스 수준의 의미 일관성을 보여준다.
• 이전 연구인 InvertingGradients가 배치 크기와 로컬 에포크 수가 모두 1인 경우에만 작동하는 데 반해, 본 연구는 최대 16개의 로컬 에포크 이후 모델 가중치에서 이미지를 성공적으로 복원한다.
• 동일한 배치에서의 다중 업데이트를 활용하면 이미지 재구성 품질이 향상되며, 대용량 배치 크기(최대 256)와 다양한 클래스 분포 조건에서도 높은 성능 유지를 유지한다.
• 실험적으로 이미지 복원이 실패하는 것은 단 하나의 레이블도 잘못 추론될 경우에만 발생함을 확인하여, 레이블과 이미지 복원 간의 강력한 상호의존성을 입증한다.