[논문 리뷰] When the Curious Abandon Honesty: Federated Learning Is Not Private

Franziska Boenisch, Adam Dziedzic외 4명|arXiv (Cornell University)|2021. 12. 06.

Privacy-Preserving Technologies in Data인용 수 24

한 줄 요약

이 논문은 악성 중앙 당사자가 '트랩 웨이트'(carefully manipulated model weights)를 사용하여 기울기에서 개인 학습 데이터 포인트를 완벽하게 복원할 수 있는 새로운 계산 효율적인 데이터 복원 공격을 제시한다. 이 공격는 큰 미니배치, 심지어 하나의 클래스만 포함하는 경우에도 작동하며, 복잡한 최적화 없이도 최소한의 탐지 가능성과 함께 거의 완벽한 복원을 달성한다(예: ImageNet에서 50%, IMDB에서 65%).

ABSTRACT

In federated learning (FL), data does not leave personal devices when they are jointly training a machine learning model. Instead, these devices share gradients, parameters, or other model updates, with a central party (e.g., a company) coordinating the training. Because data never "leaves" personal devices, FL is often presented as privacy-preserving. Yet, recently it was shown that this protection is but a thin facade, as even a passive, honest-but-curious attacker observing gradients can reconstruct data of individual users contributing to the protocol. In this work, we show a novel data reconstruction attack which allows an active and dishonest central party to efficiently extract user data from the received gradients. While prior work on data reconstruction in FL relies on solving computationally expensive optimization problems or on making easily detectable modifications to the shared model's architecture or parameters, in our attack the central party makes inconspicuous changes to the shared model's weights before sending them out to the users. We call the modified weights of our attack trap weights. Our active attacker is able to recover user data perfectly, i.e., with zero error, even when this data stems from the same class. Recovery comes with near-zero costs: the attack requires no complex optimization objectives. Instead, our attacker exploits inherent data leakage from model gradients and simply amplifies this effect by maliciously altering the weights of the shared model through the trap weights. These specificities enable our attack to scale to fully-connected and convolutional deep neural networks trained with large mini-batches of data. For example, for the high-dimensional vision dataset ImageNet, we perfectly reconstruct more than 50% of the training data points from mini-batches as large as 100 data points.

연구 동기 및 목표

• 기본적으로 데이터가 디바이스에서 이동하지 않는다고 주장하는 페더레이티드 러닝에서의 근본적인 프라이버시 취약성을 드러내기 위해.
• 활성적이고 악성인 중앙 당사자가 모델 웨이트 조작을 통해 개인 학습 데이터를 완벽한 정밀도로 추출할 수 있음을 입증하기 위해.
• 기울기에서 효율적이고 스케일러블하며 탐지되지 않는 데이터 복원 방법을 개발하기 위해, 특히 큰 미니배치와 다양한 아키텍처에서도 작동하도록.
• 페더레이티드 러닝이 본질적으로 사용자 프라이버시를 보호한다고 가정하는 것에 도전하기 위해, 특히 중앙 당사자가 모델 웨이트를 제어할 경우에 대해.
• 기본적인 페더레이티드 러닝은 의미 있는 프라이버시 보장을 제공하지 않기 때문에, FL에 전용 프라이버시 보호 기능을 통합할 것을 주장하기 위해.

제안 방법

• 공격는 공유 모델 내의 악성 웨이트 수정인 '트랩 웨이트'를 사용하여 모델 기울기 내에 존재하는 본질적 데이터 泄露를 증폭한다.
• 트랩 웨이트는 모델의 웨이트 행렬의 구성 요소를 재스케일링하여 생성되며, 기울기 기반 데이터 복원에 정밀한 제어를 가능하게 한다.
• 공격는 완전히 연결된 네트워크와 컨볼루션 네트워크에서 큰 미니배치의 기울기들이 종종 학습 데이터 포인트를 기억하고 있다는 사실을 활용한다.
• 복원은 복잡한 최적화를 피하기 위해 기울기를 입력 도메인에 투영하는 방식으로 수행된다.
• 공격는 사용자가 여러 로컬 훈련 라운드(FedAvg)를 수행하더라도 효과적이며, 원시 기울기뿐 아니라 모델 업데이트에 대해서도 작동하므로 표준 페더레이티드 러닝 프로토콜 전반에 걸쳐 광범위하게 적용 가능하다.
• 공격는 스텔스성 있는 편이다. 트랩 웨이트 수정은 눈에 띄지 않으며, 모델 아키텍처를 변경하거나 탐지 가능한 파rameter 변화를 요구하지 않는다.

실험 결과

연구 질문

• RQ1 악성 중앙 당사자가 복잡한 최적화나 눈에 띄는 수정 없이 기울기에서 개인 학습 데이터를 복원할 수 있는가?
• RQ2 공유 모델 웨이트가 악성으로 초기화될 경우, 모델 기울기 내의 데이터 泄露가 얼마나 증가하는가?
• RQ3 한 개의 클래스만 포함하는 큰 미니배치에서도 완벽한 정밀도로 데이터 복원이 가능할 수 있는가?
• RQ4 트랩 웨이트 방법은 완전히 연결된 네트워크와 컨볼루션 네트워크와 같은 다양한 모델 아키텍처에서 어떻게 스케일링되는가?
• RQ5 웨이트 조작이 페더레이티드 러닝의 프라이버시에 미치는 영향은 무엇이며, 어떤 방어 조치가 필요한가?

주요 결과

• 모든 데이터가 동일한 클래스에 속하는 미니배치에서도, 공격는 완전히 정확한 복원(오차 없음)을 달성한다.
• ImageNet 데이터셋에서, 크기가 100인 미니배치의 50% 이상이 트랩 웨이트 방법을 통해 완전히 정확하게 복원되었다.
• IMDB 감성 분석과 같은 텍스처 작업에서는 크기가 100인 미니배치의 65% 이상이 완전한 정밀도로 복원되었다.
• 공격는 계산적으로 효율적이며, 복잡한 최적화가 필요 없고, 기울기를 입력 도메인에 투영하는 방식으로 작동한다.
• 공격는 원시 기울기와 FedAvg의 모델 업데이트 모두에 대해 작동하므로, 표준 페더레이티드 러닝 프로토콜 전반에 걸쳐 넓은 적용 범위를 보였다.
• 공격는 매우 스텔스성 있으며, 트랩 웨이트 수정은 눈에 띄지 않으며, 모델 아키텍처를 변경하거나 탐지 메커니즘을 유발하지 않는다.