[논문 리뷰] LOKI: Large-scale Data Reconstruction Attack against Federated Learning through Model Manipulation

Joshua C. Zhao, Atul Sharma외 4명|arXiv (Cornell University)|2023. 03. 21.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

LOKI는 FedAVG와 보안 집계를 사용하는 분산 학습 환경에서 악성 서버가 맞춤형 합성곱 커널을 주입함으로써 클라이언트 데이터의 76–86%를 복원할 수 있는 새로운 데이터 복원 공격이다. 이 공격는 신뢰성 있는 신뢰성 맵핑 레이어를 통해 기울기 분리를 유도하고, 보안 집계를 우회함으로써 모델 일관성 문제 없이 대규모 고해상도 복원을 가능하게 한다. 공격는 공격 시점에 대한 사전 지식이 필요 없으며, 모델 일관성 문제 없이도 탐지되지 않는다.

ABSTRACT

Federated learning was introduced to enable machine learning over large decentralized datasets while promising privacy by eliminating the need for data sharing. Despite this, prior work has shown that shared gradients often contain private information and attackers can gain knowledge either through malicious modification of the architecture and parameters or by using optimization to approximate user data from the shared gradients. However, prior data reconstruction attacks have been limited in setting and scale, as most works target FedSGD and limit the attack to single-client gradients. Many of these attacks fail in the more practical setting of FedAVG or if updates are aggregated together using secure aggregation. Data reconstruction becomes significantly more difficult, resulting in limited attack scale and/or decreased reconstruction quality. When both FedAVG and secure aggregation are used, there is no current method that is able to attack multiple clients concurrently in a federated learning setting. In this work we introduce LOKI, an attack that overcomes previous limitations and also breaks the anonymity of aggregation as the leaked data is identifiable and directly tied back to the clients they come from. Our design sends clients customized convolutional parameters, and the weight gradients of data points between clients remain separate even through aggregation. With FedAVG and aggregation across 100 clients, prior work can leak less than 1% of images on MNIST, CIFAR-100, and Tiny ImageNet. Using only a single training round, LOKI is able to leak 76-86% of all data samples.

연구 동기 및 목표

• 실제 조건인 FedAVG와 보안 집계를 고려한 분산 학습 환경에서 확장 가능하고 고해상도의 데이터 복원 공격가 부족한 문제를 해결하기 위해.
• 이전 공격들이 단일 클라이언트나 작은 배치 크기 이하로 확장에 실패하는 한계를 극복하기 위해.
• 모델 일관성 문제를 유발하지 않으면서도 탐지되지 않도록 악성 서버가 집계된 기울기에서 기밀 데이터를 복원할 수 있도록 하기 위해.
• 서버가 모델 파라미터를 조작할 경우 보안 집계가 데이터 泄露를 완전히 방지하지 못함을 입증하기 위해.
• 차별적 프라이버시가 모든 학습 단계에 균일하게 적용되더라도 공격가 여전히 효과를 유지할 수 있음을 보여주기 위해.

제안 방법

• 서버는 클라이언트에게 전달하기 전에 전역 모델에 신뢰성 맵핑 특성을 가진 맞춤형 합성곱 레이어를 주입함으로써, 각 클라이언트의 기울기 가중치가 집계 후에도 분리 가능하도록 보장한다.
• 각 클라이언트의 모델은 입력 특징을 공유된 잠재 공간으로 매핑하는 고유한 합성곱 커널로 수정되며, 이로 인해 집계 과정 동안 클라이언트 고유의 기울기 신호가 유지된다.
• 공격는 최종 합성곱 레이어와 그 다음의 완전 연결 레이어를 泄露 모듈로 활용하여 기울기에서 입력 데이터를 정밀하게 복원할 수 있도록 한다.
• 모델 일관성 문제를 방지하기 위해 기울기 분리성을 유지하기 위해 합성곱 스케일링 인자를 사용하며, 이는 클라이언트가 다수의 학습 라운드 동안 국지적으로 학습하더라도 유지를 가능하게 한다.
• 서버는 주입된 합성곱 레이어의 알려진 구조를 기반으로 유도된 선형 시스템을 풀어 공유된 기울기에서 데이터를 복원한다.
• 공격는 악성 레이어가 ResNet이나 VGG와 같은 표준 아키텍처 내에 숨겨질 수 있어, 계산 검증 능력이 제한된 클라이언트에게서 탐지하기 어렵다는 점에서 도청 가능하다.

실험 결과

연구 질문

• RQ1 FedAVG와 보안 집계 환경에서 이전 공격들이 기울기 혼합 문제로 실패하는 상황에서, 악성 서버가 대규모로 기밀 클라이언트 데이터를 복원할 수 있는가?
• RQ2 분산 학습 과정에서 모델 일관성 문제와 탐지 위험을 피하면서도 높은 복원 품질을 유지할 수 있는가?
• RQ3 어떤 아키텍처 수정이 보안 집계가 존재하더라도 여러 클라이언트 간 기울기 분리를 가능하게 하는가?
• RQ4 클라이언트 수와 국지 데이터셋 크기가 증가함에 따라 공격의 확장성은 어느 정도인가?
• RQ5 모든 학습 단계에 걸쳐 차별적 프라이버시가 균일하게 적용되더라도 공격가 여전히 효과를 유지할 수 있는가?

주요 결과

• LOKI는 FedAVG와 보안 집계 환경에서 100명의 클라이언트를 대상으로 단일 학습 라운드만으로 MNIST, CIFAR-100, Tiny ImageNet에서 76–86%의 데이터 유출률을 달성한다.
• 이전 최고 수준의 공격가 동일 조건에서 1% 미만의 데이터만 유출하는 데에 그치므로, LOKI는 복원 스케일에서 76배에서 86배 이상의 향상을 보였다.
• 최대 풀링 조건에서도 높은 복원 품질을 유지하며, 해상도 손실에도 불구하고 내용의 명확성이 유지된다.
• 클라이언트 수와 국지 데이터셋 크기 증가에 따라 공격는 선형적으로 확장되며, 필요한 모델 파rameter는 선형적으로 증가하지만 비영인 파rameter의 수는 일정하게 유지된다.
• 차별적 프라이버시가 적용되더라도 LOKI는 여전히 효과를 유지하지만, 노이즈 주입으로 인해 모델 정확도가 저하됨을 보여주며, 프라이버시와 유효성 간의 상충 관계를 드러낸다.
• 공격는 모델 일관성 문제나 반복적 반복을 필요로 하지 않으며, 반복 최적화나 막힘 없는 소스 분리가 필요 없이 단일 라운드 내에서 실행 가능하다.