[논문 리뷰] Federated Deep Learning with Bayesian Privacy

Hanlin Gu, Lixin Fan외 4명|arXiv (Cornell University)|2021. 09. 27.

Privacy-Preserving Technologies in Data인용 수 10

한 줄 요약

이 논문은 연합 딥러닝에서 베이지안 복원 공격에 대한 엄밀한 방어를 가능하게 하기 위해 사전 분포와 사후 분포 간의 쿨백-라이블러 발산을 통해 개인정보 유출을 정량화하는 새로운 베이지안 프라이버시(BP) 프레임워크를 제안한다. 이를 통해 클라이언트 고유의 개인 키를 모델 파라미터에 통합하여 복원 공격에 저항하면서도 높은 모델 정확도와 낮은 계산 비용을 유지하는 연합 딥러닝 기반 개인 훈련(FDL-PP)을 도입한다.

ABSTRACT

Federated learning (FL) aims to protect data privacy by cooperatively learning a model without sharing private data among users. For Federated Learning of Deep Neural Network with billions of model parameters, existing privacy-preserving solutions are unsatisfactory. Homomorphic encryption (HE) based methods provide secure privacy protections but suffer from extremely high computational and communication overheads rendering it almost useless in practice . Deep learning with Differential Privacy (DP) was implemented as a practical learning algorithm at a manageable cost in complexity. However, DP is vulnerable to aggressive Bayesian restoration attacks as disclosed in the literature and demonstrated in experimental results of this work. To address the aforementioned perplexity, we propose a novel Bayesian Privacy (BP) framework which enables Bayesian restoration attacks to be formulated as the probability of reconstructing private data from observed public information. Specifically, the proposed BP framework accurately quantifies privacy loss by Kullback-Leibler (KL) Divergence between the prior distribution about the privacy data and the posterior distribution of restoration private data conditioning on exposed information}. To our best knowledge, this Bayesian Privacy analysis is the first to provides theoretical justification of secure privacy-preserving capabilities against Bayesian restoration attacks. As a concrete use case, we demonstrate that a novel federated deep learning method using private passport layers is able to simultaneously achieve high model performance, privacy-preserving capability and low computational complexity. Theoretical analysis is in accordance with empirical measurements of information leakage extensively experimented with a variety of DNN networks on image classification MNIST, CIFAR10, and CIFAR100 datasets.

연구 동기 및 목표

• 차별적 프라이버시(DP)가 베이지안 복원 공격에 취약함에도 불구하고, 기존의 프라이버시 보존 방법의 한계를 해결하기 위해.
• 베이지안 추론을 활용해 모델 업데이트에서 발생하는 정보 유출을 정량화하는 이론적으로 탄탄한 프라이버시 메트릭을 개발하기 위해.
• 높은 모델 성능, 강력한 프라이버시 보장, 낮은 계산 오버헤드를 동시에 확보하는 실용적인 연합 학습 프레임워크를 설계하기 위해.
• 제안된 방법이 KL 발산을 통해 프라이버시 손실을 모델링하여 다양한 베이지안 복원 공격에 저항할 수 있음을 이론적으로 입증하기 위해.

제안 방법

• 사전 분포와 공개 모델 업데이트를 관찰한 후의 사후 분포 간 KL 발산으로 프라이버시 손실을 모델링하는 베이지안 프라이버시(BP) 프레임워크를 제안한다.
• 공격자가 공개 모델 파라미터에서 비공개 데이터를 복원하고자 하는 확률적 추론 문제로 베이지안 복원 공격을 정의한다.
• 배치 정규화 레이어에 클라이언트 고유의 개인 훈련(Pγ, Pβ)을 통합하여 척도 및 이동 파라미터를 조절하는 FDL-PP 프레임워크를 도입한다.
• 학습된 변환을 통해 모델 가중치 γ와 β를 개인 훈련과 연결하는 정규화 손실 L_P를 통해 파라미터 일관성을 강제한다.
• 분류 작업을 위한 교차 엔트로피 손실과 개인 훈련 기반 프라이버시 강화를 위한 L_P를 조합한 손실을 사용해 모델을 훈련한다.
• 서버 측에서는 공개 모델 레이어의 집합을 FedAvg를 사용해 처리하고, 클라이언트는 공개 레이어를 동결한 채로 개인 훈련 레이어만 업데이트한다.

실험 결과

연구 질문

• RQ1 연합 학습 환경에서 사전 및 사후 믿음 간의 KL 발산을 사용해 베이지안 프라이버시 손실을 공식적으로 정량화할 수 있는가?
• RQ2 차별적 프라이버시(DP)는 베이지안 복원 공격에 얼마나 취약한가? 이는 분석적으로 어떻게 측정할 수 있는가?
• RQ3 높은 모델 정확도, 낮은 계산 비용, 강력한 베이지안 재구성 공격에 대한 저항력을 동시에 확보할 수 있는 연합 학습 시스템을 설계할 수 있는가?
• RQ4 FDL-PP의 개인 훈련 메커니즘이 표준 DP 또는 암호화 기반(HE) 접근 방식에 비해 정보 유출을 얼마나 효과적으로 방지하는가?
• RQ5 이론적 BP 손실이 재구성 오차와 분포 발산을 통해 측정된 경험적 정보 유출과 상관관계가 있는가?

주요 결과

• 사전 분포와 사후 분포 간 KL 발산으로 측정된 제안된 베이지안 프라이버시(BP) 손실은 모델 업데이트에서 발생하는 정보 유출을 정확히 정량화한다.
• MNIST, CIFAR10, CIFAR100에서의 실험 결과, FDL-PP는 높은 테스트 정확도(예: MNIST에서 97.8%, CIFAR10에서 88.2%)를 달성하면서도 강력한 프라이버시 보장을 유지한다.
• 베이지안 복원 공격 하에서 원본 이미지와 재구성된 이미지 간의 평균 제곱오차가 DP 기반 기준 대비 FDL-PP에서 유의미하게 감소하여 정보 유출이 낮다는 것을 시사한다.
• KL 발산 기반 BP 손실은 경험적 재구성 품질과 강하게 상관관계가 있어, 신뢰할 수 있는 프라이버시 메트릭으로서의 유효성을 입증한다.
• FDL-PP는 계산 효율성 측면에서 DP-SGD 및 HE 기반 방법을 모두 압도하며, 표준 FL과 유사한 훈련 시간을 유지하면서도 HE 대비 수 개의 주기 만큼 빠르다.
• 이론적 분석을 통해 FDL-PP의 개인 훈련 기반 파라미터 조절 방식이 강력한 베이지안 추론 가정 하에서도 공격자가 비공개 데이터를 복원하는 능력을 제한함을 확인한다.