[논문 리뷰] Robbing the Fed: Directly Obtaining Private Data in Federated Learning with Modified Models

Liam Fowl, Jonas Geiping외 3명|arXiv (Cornell University)|2021. 10. 25.

Privacy-Preserving Technologies in Data인용 수 32

한 줄 요약

이 논문은 악의적 서버가 imprint 모듈을 뉴럴 네트워크에 삽입하여 집계된 그래디언트 업데이트에서 원문 사용자 데이터를 그대로 재구성할 수 있으며, 큰 배치 크기와 표준 집계 방어에도 불구하고 가능함을 보여준다.

ABSTRACT

Federated learning has quickly gained popularity with its promises of increased user privacy and efficiency. Previous works have shown that federated gradient updates contain information that can be used to approximately recover user data in some situations. These previous attacks on user privacy have been limited in scope and do not scale to gradient updates aggregated over even a handful of data points, leaving some to conclude that data privacy is still intact for realistic training regimes. In this work, we introduce a new threat model based on minimal but malicious modifications of the shared model architecture which enable the server to directly obtain a verbatim copy of user data from gradient updates without solving difficult inverse problems. Even user data aggregated over large batches -- where previous methods fail to extract meaningful content -- can be reconstructed by these minimally modified models.

연구 동기 및 목표

• 연합학습에서 작은 구조적 수정이 사용자 프라이버시를 침해할 수 있음을 입증한다.
• gradient 업데이트에 데이터 복구 기능을 내장하기 위한 imprint 모듈을 도입한다.
• imprint 모듈이 배치 크기에 걸쳐 사용자 데이터를 정확하거나 거의 정확하게 재구성하는 방법을 정량화한다.
• 대규모 데이터(ImageNet)에 대한 공격을 평가하고 가능한 방어책을 논의한다.

제안 방법

• 모델 아키텍처와 매개변수를 수정하는 악의적 서버를 포함하는 위협 모델을 정의한다.
• 데이터 통계를 인코딩하기 위해 바이어스가 있는 선형 계층에 ReLU를 뒤따르는 imprint 모듈과 정교하게 구성된 W_*와 b_*를 도입한다.
• 인접 imprint 빈 간의 그래디언트 차이가 개별 데이터 포인트를 복구한다는 것을 보인다(섹션 3의 방정식 및 논리).
• 배치 크기 n과 imprint 빈 수 k의 함수로 완벽하게 복구된 샘플의 수에 대한 하한을 주는 명제(Proposition 1)를 제시한다.
• Imprint(128 bins)와 함께 ResNet-18로 ImageNet에서 전체 배치 복구를 포함한 실용적 공격을 시연하여 높은 PSNR을 달성한다.
• 매우 큰 배치의 평균 업데이트에서 단일 데이터 포인트를 누설하는 원샷 공격을 분석한다(최대 16,384 이미지).
• 유연한 위치 배치, 다중 로컬 업데이트 및 이미지 외의 데이터 모달리티와 같은 변형들을 논의한다.

실험 결과

연구 질문

• RQ1 모델 아키텍처에 대한 최소한의 수정으로 서버가 그래디언트 업데이트에서 개인 사용자 데이터를 회수할 수 있는가?
• RQ2 imprint 모듈이 서로 다른 배치 크기와 네트워크 배치에서 입력의 정확하거나 거의 정확한 재구성을 어떻게 가능하게 하는가?
• RQ3 이 공격에서 완벽한 데이터 복구를 위한 정량적 한계는 무엇인가(예: bin 수 k, 배치 크기 n)?
• RQ4 이러한 공격이 대규모 모델과 데이터셋에서 기존 그래디언트 반전 방법과 비교하여 어떤 성능을 보이는가?
• RQ5 연합학습에서 imprint 기반 프라이버시 침해를 완화할 수 있는 방어 전략은 무엇인가?

주요 결과

• Imprint 모듈은 그래디언트 업데이트에서 사용자 데이터의 상당 부분을 정확히 복구할 수 있게 하며, 빈(k)의 개수가 늘어날수록 복구가 더 정확해진다.
• ImageNet에서 ResNet-18 앞에 128 imprint bin을 두고 배치 크기 64일 때, 이 방법은 거의 완벽한 재구성을 낳아 평균 PSNR이 75.75이다.
• 원샷 공격은 16,384개의 이미지의 집계에서 두 개의 빈과 전체 매개변수의 약 1%에 해당하는 작은 매개변수 추가만으로 원문 데이터를 누설할 수 있다.
• 공격은 네트워크 내 배치 위치에 대한 강건성과 일부 로컬 업데이트 단계에 대한 강건성을 가지며, 이미지 외의 데이터 모달리티에도 영향을 준다.