[논문 리뷰] Gradient Obfuscation Gives a False Sense of Security in Federated Learning

Kai Yue, Richeng Jin외 3명|arXiv (Cornell University)|2022. 06. 08.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

이 논문은联邦학습에서 새로운 복원 공격 프레임워크를 제안하며, 양자화, 희소화, 노이즈 주입과 같은 그래디언트 왜곡 기법이 클라이언트의 프라이버시를 신뢰할 수 있게 보호하지는 않음을 입증한다. 이전의 가정과는 달리, 저자들은 이러한 기법들조차도 의미 수준의 정보 유출을 야기할 수 있음을 보여주며, 기존의 평가 지표에 도전하고, 연합학습 시스템 내 프라이버시 보존 방어 기법의 재고를 촉구한다.

ABSTRACT

Federated learning has been proposed as a privacy-preserving machine learning framework that enables multiple clients to collaborate without sharing raw data. However, client privacy protection is not guaranteed by design in this framework. Prior work has shown that the gradient sharing strategies in federated learning can be vulnerable to data reconstruction attacks. In practice, though, clients may not transmit raw gradients considering the high communication cost or due to privacy enhancement requirements. Empirical studies have demonstrated that gradient obfuscation, including intentional obfuscation via gradient noise injection and unintentional obfuscation via gradient compression, can provide more privacy protection against reconstruction attacks. In this work, we present a new data reconstruction attack framework targeting the image classification task in federated learning. We show that commonly adopted gradient postprocessing procedures, such as gradient quantization, gradient sparsification, and gradient perturbation, may give a false sense of security in federated learning. Contrary to prior studies, we argue that privacy enhancement should not be treated as a byproduct of gradient compression. Additionally, we design a new method under the proposed framework to reconstruct the image at the semantic level. We quantify the semantic privacy leakage and compare with conventional based on image similarity scores. Our comparisons challenge the image data leakage evaluation schemes in the literature. The results emphasize the importance of revisiting and redesigning the privacy protection mechanisms for client data in existing federated learning algorithms.

연구 동기 및 목표

• 연합학습에서 양자화 및 희소화와 같은 그래디언트 왜곡 기법이 본질적으로 클라이언트 프라이버시를 보호한다는 가정을 도전하기 위해.
• 일반적인 그래디언트 후처리 방법을 적용하더라도 고품질의 이미지 복원을 달성할 수 있는 새로운 복원 공격 프레임워크를 개발하기 위해.
• 픽셀 수준의 유사도 지표를 초월해 의미 수준의 이미지 복원을 도입하고, 프라이버시 유출을 평가하기 위해.
• 기존의 이미지 유사도 점수(예: SSIM)가 연합학습에서 데이터 프라이버시 유출을 충분히 측정하는 데에 부적절하다는 것을 의심하기 위해.
• 연합학습 알고리즘 내 프라이버시 보호 메커니즘의 근본적인 재설계를 주장하기 위해.

제안 방법

• 저자들은 서버가 수신한 그래디언트와 일치하도록 반복적으로 입력 이미지를 최적화하는 복원 공격 프레임워크를 설계하였으며, 이는 미분 가능한 이미지 생성 과정을 사용한다.
• 공격 파이프라인에 QSGD(양자화된 확률적 경사하강법) 및 Top-k 희소화와 같은 그래디언트 후처리 기법을 통합하여 실제 연합학습 환경을 시뮬레이션한다.
• 사전 학습된 다중 레이블 분류 모델을 활용해 객체 태그를 추출하고, 이를 공격 최적화 과정에서의 지도로 사용함으로써 의미 수준의 복원을 달성한다.
• 공격는 예측된 태그와 진짜 태그 간의 재현율(Jaccard 유사도) 기반 의미 유사도 손실과 픽셀 수준의 복원 손실을 조합한 손실 함수를 사용한다.
• 기존 지표(예: SSIM)와 새로운 의미 유사도 지표를 모두 사용하여 프레임워크가 다양한 방어 전략 간의 프라이버시 유출을 비교 가능하게 한다.
• 표준 데이터셋을 사용한 이미지 분류 작업에서 프로토타입 테스트를 수행하였으며, 다양한 방어 구성에 대한 분석 실험도 실시하였다.

실험 결과

연구 질문

• RQ1 양자화 및 희소화와 같은 그래디언트 왜곡 기법이 연합학습에서 데이터 복원 공격을 진정으로 방지할 수 있는가?
• RQ2 SSIM과 같은 기존의 이미지 유사도 지표가 재구성된 이미지에서 의미 있는 프라이버시 유출을 포착하지 못하는 정도는 어느 정도인가?
• RQ3 픽셀 수준의 정확도가 낮을 때도 의미 수준의 복원이 사생활 정보를 드러낼 수 있는가?
• RQ4 그래디언트 후처리와 의미 지도의 조합이 복원 공격의 성공에 어떤 영향을 미치는가?
• RQ5 현재의 평가 체계는 연합학습에서 프라이버시 유출을 측정하는 데에 어떤 한계를 지니는가?

주요 결과

• 제안된 공격는 양자화 및 희소화된 그래디언트로부터 고품질의 이미지를 성공적으로 복원하여, 이러한 왜곡 기법이 복원을 방지하지 못함을 입증한다.
• 낮은 SSIM 값(예: 0.285 및 0.334)에도 불구하고 의미 유사도는 높게 유지되어(Jaccard = 0.6) 의미 수준에서의 의미 있는 프라이버시 유출이 발생함을 시사한다.
• 그래디언트 또는 특징을 왜곡하는 기존의 방어 기법들에도 불구하고 공격는 효과를 유지함으로써, 이러한 기법들이 프라이버시 보호에 부적절함을 보여준다.
• 의미 수준의 복원은 픽셀 수준의 복원에 실패한 경우에도 객체 및 환경 맥락과 같은 사생활 정보를 드러내며, SSIM이 프라이버시 지표로 충분하지 않음을 도전한다.
• 복잡한 장면이나 인간의 얼굴이 포함된 경우, 공격는 정체성을 복원하지 못할 수 있어 의미 복원의 한계를 드러낸다.
• 연구는 그래디언트 왜곡을 기본적으로 프라이버시 보존 수단로 간주해서는 안 되며, 현재의 방어 조치는 잘못된 안전감을 줄 수 있음을 결론 내린다.