[논문 리뷰] Gradient Disaggregation: Breaking Privacy in Federated Learning by Reconstructing the User Participant Matrix

Maximilian Lam, Gu-Yeon Wei외 3명|arXiv (Cornell University)|2021. 06. 10.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 기기 분 析를 통해 수집한 측면 채널 정보—특히 참가 빈도 메트릭스—를 이용해, 집계된 분산 학습 업데이트에서 개별 사용자 모델 업데이트를 재구성하는 기울기 분리 공격을 제안한다. 이 방법은 안전한 집계의 기밀 보장을 무너뜨려, 조작된 FedAvg 업데이트가 존재하더라도 수천 명의 사용자에 대한 고해상도 추론 공격을 가능하게 한다.

ABSTRACT

We show that aggregated model updates in federated learning may be insecure. An untrusted central server may disaggregate user updates from sums of updates across participants given repeated observations, enabling the server to recover privileged information about individual users' private training data via traditional gradient inference attacks. Our method revolves around reconstructing participant information (e.g: which rounds of training users participated in) from aggregated model updates by leveraging summary information from device analytics commonly used to monitor, debug, and manage federated learning systems. Our attack is parallelizable and we successfully disaggregate user updates on settings with up to thousands of participants. We quantitatively and qualitatively demonstrate significant improvements in the capability of various inference attacks on the disaggregated updates. Our attack enables the attribution of learned properties to individual users, violating anonymity, and shows that a determined central server may undermine the secure aggregation protocol to break individual users' data privacy in federated learning.

연구 동기 및 목표

• 기밀 보장을 제공하는 안전한 집계가, 신뢰할 수 없는 서버가 측면 채널 기기 분석을 수집할 경우 기밀 유출에 취약하다는 것을 입증하는 것.
• 반복적인 집계된 모델 업데이트 관찰과 참가 빈도 데이터를 결합해, 개인 사용자의 기밀 모델 업데이트를 재구성할 수 있는지 조사하는 것.
• 기울기 분리가 기존의 추론 공격(예: 기울기 역전파, 성질 추론)의 성공률에 미치는 영향을 평가하는 것.
• 분산 학습 시스템에서 요약 기기 분석을 수집하는 것이 기밀 유출의 암묵적 채널이 될 수 있음을 드러내는 것.

제안 방법

• 집계된 모델 업데이트와 측면 채널 분석에서 사용자 참가 행렬을 복원하기 위해 기울기 분리를 제약 조건이 있는 이진 행렬 분해 문제로 수식화하는 것.
• 여러 학습 라운드에 걸쳐 집계된 모델 업데이트를 반복 관찰하여 개인 사용자 기여도를 추론하는 것.
• 참가 빈도와 같은 기기 수준의 분석을 활용해 해의 공간을 제약하고 재구성 정확도를 향상시키는 것.
• 정확한 기울기와 노이즈가 있는 FedAvg 업데이트에 모두 분리 방법을 적용하여 실제 환경 조건에서도 강건성을 입증하는 것.
• 회복된 개인 업데이트를 표준 추론 공격(예: 기울기 역전파, 성질 추론)의 입력으로 사용하여 기밀 유출 정도를 평가하는 것.
• 최대 수천 명의 참가자가 있는 데이터셋에서 방법을 검증하여 이상적인 조건에서 사용자 업데이트를 정확히 재구성하는 것.

실험 결과

연구 질문

• RQ1 신뢰할 수 없는 중앙 서버가 측면 채널 참가 메트릭스만을 사용해 집계된 업데이트에서 개인 사용자 모델 업데이트를 재구성할 수 있는가?
• RQ2 기울기 분리가 기울기 역전파 및 성질 추론과 같은 기존 추론 공격의 성능을 어느 정도 향상시키는가?
• RQ3 FedAvg 학습에서 발생하는 노이즈와 같은 환경에서 기울기 분리는 얼마나 효과적인가?
• RQ4 서버가 여러 라운드에 걸쳐 기기 참가 빈도 데이터에 접근할 경우, 안전한 집계 프로토콜이 여전히 기밀을 유지하는가?
• RQ5 기기 분석을 수집하는 것이 분산 학습 시스템의 기밀 측면에서 실질적인 영향을 미치는가?

주요 결과

• 제안된 기울기 분리 공격는 최대 수천 명의 참가자가 있는 조건에서도 집계된 업데이트에서 개인 사용자 모델 업데이트를 정확히 재구성하는 데 성공했으며, 이상적인 조건에서는 정확한 복원을 달성했다.
• 기울기 분리를 적용한 기울기 역전파 공격는 100명의 사용자 업데이트가 집계된 경우 기준값과 비교해 PSNR 18.6을 기록했으며, 이는 분리 없이 진행했을 경우의 13.3 PSNR보다 뚜렷이 높은 성능이다.
• 기울기 분리를 적용한 성질 추론 공격는 사용자 수가 증가함에 따라 AUC 점수가 0.9 이상 유지되지만, 분리를 적용하지 않은 경우 AUC는 급격히 떨어진다.
• FedAvg 업데이트를 통해 100명의 사용자 업데이트가 집계된 경우에도 기준 이미지 재구성의 PSNR가 18.6에 이르러, 평균화로 인한 노이즈가 효과적인 분리를 방해하지 않는다는 것을 입증했다.
• 분리는 개인 사용자에 대한 추론 공격 성능을 단일 사용자 공격 수준으로 끌어올리며, 업데이트가 다수 사용자로부터 집계된 경우에도 효과를 발휘한다.
• 노이즈가 있는 집계된 업데이트에서도 공격가 효과를 유지하여, FedAvg와 같은 실제 학습 동역학에 대한 강건성을 입증했다.