[논문 리뷰] Cocktail Party Attack: Breaking Aggregation-Based Privacy in Federated Learning using Independent Component Analysis

Sanjay Kariyappa, Chuan Guo외 5명|arXiv (Cornell University)|2022. 09. 12.

Geophysical Methods and Applications인용 수 5

한 줄 요약

이 논문은 페더레이티드 러닝에서 집계된 기울기에서 비공개 입력을 복원하는 새로운 기울기 역전공격인 카트빌 파티 어택(Cocktail Party Attack, CPA)을 제안한다. 이는 독립성 성분 분석(ICA)을 사용해 빔 소스 분리 문제로 문제를 모델링함으로써 이루어지며, 큰 배치 크기(최대 1024)에서도 고해상도 이미지를 성공적으로 복원함으로써, 집계만으로는 페더레이티드 러닝에서의 프라이버시를 보장하지 못함을 보여준다.

ABSTRACT

Federated learning (FL) aims to perform privacy-preserving machine learning on distributed data held by multiple data owners. To this end, FL requires the data owners to perform training locally and share the gradient updates (instead of the private inputs) with the central server, which are then securely aggregated over multiple data owners. Although aggregation by itself does not provably offer privacy protection, prior work showed that it may suffice if the batch size is sufficiently large. In this paper, we propose the Cocktail Party Attack (CPA) that, contrary to prior belief, is able to recover the private inputs from gradients aggregated over a very large batch size. CPA leverages the crucial insight that aggregate gradients from a fully connected layer is a linear combination of its inputs, which leads us to frame gradient inversion as a blind source separation (BSS) problem (informally called the cocktail party problem). We adapt independent component analysis (ICA)--a classic solution to the BSS problem--to recover private inputs for fully-connected and convolutional networks, and show that CPA significantly outperforms prior gradient inversion attacks, scales to ImageNet-sized inputs, and works on large batch sizes of up to 1024.

연구 동기 및 목표

• 페더레이티드 러닝에서 큰 배치 크기의 기울기 집합이 의미 있는 프라이버시 보호를 제공한다는 가정에 도전하기 위해.
• 이전 공격이 실패하는 큰 배치 크기에서도 효과적으로 작동하는 실용적인 기울기 역전공격을 개발하기 위해.
• 완전히 연결된 레이어에서 집계된 기울기와 입력 간 선형 관계가 입력 복원에 효과적으로 활용될 수 있음을 보여주기 위해.
• 임베딩 복원 및 특징 역전환을 통해 공격을 합성곱 신경망으로 확장하기 위해.
• 이전의 기울기 매칭 공격과의 비교를 통해 CPA의 효용성, 확장성 및 내구성을 평가하기 위해.

제안 방법

• 완전히 연결된 레이어에서의 집계 기울기가 입력 데이터 샘플들의 선형 조합임을 활용한다.
• 클래식한 카트빌 파티 문제에서 영감을 얻어 기울기 역전환 문제를 빔 소스 분리(BSS) 문제로 프레임한다.
• 원래 입력을 혼합된 기울기에서 복원하기 위해 미리 분리된 매트릭스를 추정하기 위해 독립성 성분 분석(ICA)을 적용한다.
• 마지막 완전히 연결된 레이어에서 각 샘플의 임베딩을 먼저 복원함으로써 공격을 합성곱 네트워크로 확장한다.
• 부드러움 같은 이미지 사전 지식에 의존하여, 복원된 임베딩에서 입력 이미지를 재구성하기 위한 특징 역전환 기법을 사용한다.
• 특히 고차원 설정에서 성능을 향상시키기 위해 CPA를 기울기 매칭과 조합한다.

실험 결과

연구 질문

• RQ1 매우 큰 배치 크기일 경우에도 기울기 역전환 공격이 집계된 기울기에서 비공개 입력을 복원할 수 있는가?
• RQ2 완전히 연결된 레이어에서 입력과 집계된 기울기 간의 선형 관계가 입력 복원에 활용될 수 있는가?
• RQ3 재구성 품질과 확장성 측면에서 ICA 기반 방법이 기울기 매칭 기반 공격보다 뛰어나게 성능을 내는가?
• RQ4 이미지넷과 같은 대규모 데이터셋과 고차원 입력에서 CPA는 얼마나 효과적인가?
• RQ5 배치 크기와 임베딩 차원 수준에서 CPA의 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• CPA는 CIFAR-10, Tiny-ImageNet, ImageNet에서 배치 크기 최대 1024까지도 고해상도 이미지를 성공적으로 복원한다.
• CPA+특징 역전환(CP+FI)의 LPIPS 점수는 배치 크기 32일 때 0.483이며, 테스트한 모든 배치 크기에서 0.51 이하로 유지되어 일관된 성능을 보인다.
• CPA+FI+기울기 매칭은 배치 크기 32일 때 LPIPS 점수를 0.392로 낮추며, 기울기 매칭 단독의 경우(0.536)보다 우수한 재구성 품질을 보여준다.
• 공격은 효율적으로 확장 가능하다: CPA의 메모리 사용량은 입력 차원에 의존하지 않아, OOM 오류 없이 배치 크기 1024까지 처리할 수 있으며, 기울기 매칭은 배치 크기 512에서 실패한다.
• 가우시안 노이즈를 사용한 차별적 프라이버시(DP, σ = 0.01)는 CPA와 GM 모두의 LPIPS 점수를 약 0.72로 감소시켜, DP가 효과적인 방어 수단임을 입증한다.
• 공격자는 입력 데이터 분포를 모를 경우에도, 부드러움과 같은 표준 이미지 사전 지식에 의존하기만 하면 공격가능성이 유지된다.