[논문 리뷰] Provable Defense against Privacy Leakage in Federated Learning from Representation Perspective

Jingwei Sun, Ang Li외 4명|arXiv (Cornell University)|2020. 12. 08.

Privacy-Preserving Technologies in Data참고 문헌 4인용 수 9

한 줄 요약

이 논문은 연합 학습(FL)에서 기밀 유출의 근본 원인으로 모델 기울기들을 통한 데이터 표현 유출을 규명하고, FL 모델 정확도를 유지하면서 재구성된 데이터 품질을 떨어뜨리는 새로운 방어 기법을 제안한다. DLG 및 GS 공격 하에서 평균 제곱오차(MSE)가 160배 이상 증가하며, FedAvg에 대해 인증된 강건성과 수렴 보장을 제공한다.

ABSTRACT

Federated learning (FL) is a popular distributed learning framework that can reduce privacy risks by not explicitly sharing private data. However, recent works demonstrated that sharing model updates makes FL vulnerable to inference attacks. In this work, we show our key observation that the data representation leakage from gradients is the essential cause of privacy leakage in FL. We also provide an analysis of this observation to explain how the data presentation is leaked. Based on this observation, we propose a defense against model inversion attack in FL. The key idea of our defense is learning to perturb data representation such that the quality of the reconstructed data is severely degraded, while FL performance is maintained. In addition, we derive certified robustness guarantee to FL and convergence guarantee to FedAvg, after applying our defense. To evaluate our defense, we conduct experiments on MNIST and CIFAR10 for defending against the DLG attack and GS attack. Without sacrificing accuracy, the results demonstrate that our proposed defense can increase the mean squared error between the reconstructed data and the raw data by as much as more than 160X for both DLG attack and GS attack, compared with baseline defense methods. The privacy of the FL system is significantly improved.

연구 동기 및 목표

• 연합 학습에서 기밀 유출의 근본 원인을 특정화하는 것, 특히 모델 기울기를 통한 데이터 표현 유출을 규명하는 것.
• FL 모델의 유용성을 유지하면서 재구성된 데이터 품질을 떨어뜨리는 방어 기법을 개발하는 것.
• 방어 기법 적용 시 FedAvg에 대해 인증된 강건성과 수렴 보장을 제공하는 것.
• MNIST 및 CIFAR10에서 최신 공격(DLG 및 GS)에 대해 실증적으로 검증하는 것.

제안 방법

• 방어 기법은 완전히 연결된(FC) 레이어에서 데이터 표현을 왜곡하여 기울기로부터 재구성된 데이터가 식별 불가능하게 만들지만, FL 모델 성능은 유지한다.
• 왜곡은 FL 유용성을 위해 진짜 데이터 표현과 유사성을 유지하면서도, 재구성된 데이터에서는 최대한의 이질성을 유도하도록 최적화된다.
• 기울기 기반 역행 공격에 대한 왜곡의 영향을 분석하여 인증된 강건성을 도출한다.
• 방어 기법 적용 하에서도 FedAvg의 수렴을 이론적으로 보장하여 학습 안정성을 확보한다.
• 특징 추출 능력을 유지하기 위해 합성곱 레이어의 왜곡을 피한다.
• 전체 또는 무작위가 아닌 표현 민감도 기반으로 구조적 프루닝을 사용한다.

실험 결과

연구 질문

• RQ1 모델 업데이트만 공유되는 연합 학습에서 기밀 유출의 근본 원인은 무엇인가?
• RQ2 클래스별 데이터 표현은 어떻게 모델 기울기에 임베딩되어 모델 역행 공격를 가능하게 하는가?
• RQ3 데이터 표현 왜곡이 FL 모델 정확도에 해를 끼치지 않으면서도 재구성 품질을 효과적으로 떨어뜨릴 수 있는가?
• RQ4 이러한 방어 기법 적용 시 강건성과 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 실제 공격 상황에서 기존 방법과 비교해 기밀-유용성 트레이드오프 측면에서 방어 기법은 어떻게 성능을 내는가?

주요 결과

• 학습 과정 중에 추론된 데이터 표현과 진짜 데이터 표현 간 상관계수가 0.99에 도달하여, 표현 유출이 핵심 취약점임을 확인한다.
• DLG 및 GS 공격 하에서 기존 방어 기법 대비 제안된 방어 기법은 재구성된 이미지와 원본 이미지 간 평균 제곱오차(MSE)를 160배 이상 증가시킨다.
• 방어 기법 적용 시 모델 정확도는 그대로 유지되며, 유사한 기밀 수준을 확보하기 위해 기존 기법은 최대 9%의 정확도 하락을 겪는다.
• 재구성된 이미지가 인간에게 식별 불가능한 수준(MSE > 0.8)에서도 방어 기법은 높은 유용성을 유지하며, 기존 프루닝 기법보다 뛰어난 성능을 보인다.
• FedAvg의 수렴은 실증적으로 검증되어, 방어 기법 적용 하에서도 이론적 수렴 보장이 성립함을 확인한다.
• 지각 평가 결과, 방어 기법은 50–60% 프루닝 수준에서 재구성된 이미지가 인간에게 식별 불가능해지지만, GC 기법은 80% 프루닝 수준에서도 여전히 식별 가능한 이미지를 생성한다.