[논문 리뷰] Gradient-Leaks: Understanding and Controlling Deanonymization in Federated Learning

Tribhuvanesh Orekondy, Seong Joon Oh외 3명|arXiv (Cornell University)|2018. 05. 15.

Privacy-Preserving Technologies in Data참고 문헌 113인용 수 20

한 줄 요약

이 논문은 피드재이티드 러닝에서 모델 업데이트가 사용자별 데이터 편향을 泄露하여, 최소한의 사전 정보가 있을 경우에도 참가 장치의 디아노니마이제이션을 가능하게 함을 밝혀냈다. 저자들은 특히 다중 모달 증강(multi-modal augmentation, mm-aug)을 포함한 校정된 데이터 증강 전략을 제안하여, 모델 유틸리티에 거의 영향을 주지 않으면서도 디아노니마이제이션 위험을 크게 감소시켰으며, 노이즈 기반 및 변형 기반 방어 전략보다 뛰어난 성능을 보였다.

ABSTRACT

Federated Learning (FL) systems are gaining popularity as a solution to training Machine Learning (ML) models from large-scale user data collected on personal devices (e.g., smartphones) without their raw data leaving the device. At the core of FL is a network of anonymous user devices sharing training information (model parameter updates) computed locally on personal data. However, the type and degree to which user-specific information is encoded in the model updates is poorly understood. In this paper, we identify model updates encode subtle variations in which users capture and generate data. The variations provide a strong statistical signal, allowing an adversary to effectively deanonymize participating devices using a limited set of auxiliary data. We analyze resulting deanonymization attacks on diverse tasks on real-world (anonymized) user-generated data across a range of closed- and open-world scenarios. We study various strategies to mitigate the risks of deanonymization. As random perturbation methods do not offer convincing operating points, we propose data-augmentation strategies which introduces adversarial biases in device data and thereby, offer substantial protection against deanonymization threats with little effect on utility.

연구 동기 및 목표

• 피드재이티드 러닝 모델 업데이트가 데이터 최소화 원칙을 준수하더라도 사용자 장치를 디아노니마이제이션할 수 있는지 조사하기 위해.
• 다른 사진 촬영 습관 등 사용자별 데이터 수집 습관이 모델 업데이트에서 지문처럼 작용하는 방식을 분석하기 위해.
• 특히 데이터 증강 기법을 포함한 다양한 완화 전략의 효과를 평가하여 디아노니마이제이션 위험을 줄이는 데 기여하기 위해.
• 디아노니마이제이션 공격과 특성 추론 공격을 결합할 경우 피드재이티드 러닝에서 프라이버시 위협이 어떻게 악화되는지 보여주기 위해.
• 영역별 데이터 증강을 활용한 실용적이고 유틸리티를 유지하는 방어 전략을 제안하고 검증하기 위해.

제안 방법

• 저자들은 한 명의 사용자당 한 장의 사전 데이터(예: 이미지)를 이용해 모델 파ameter 업데이트를 기반으로 장치를 재식별하는 디아노니마이제이션 공격을 수행한다.
• 폐쇄형 및 개방형 시나리오 모두에서 공격 성능을 평가하며, 특히 텍스트 사전 데이터를 사용해 이미지 학습에 활용하는 다중 모달 공격도 포함한다.
• 제안된 완화 전략인 mm-aug(multi-modal augmentation)는 레이블된 배경 또는 합성 데이터로 증강하여 훈련 데이터에 적대적 편향을 도입한다.
• 무작위 가우시안 노이즈, 배경 교체(bkg-repl), 그리고 차별적 프라이버시 기반 피드재이티드 평균화(differential privacy Federated Averaging, dp-fedavg)와 같은 기준 방어 전략과 mm-aug를 비교한다.
• 증강된 데이터로 모델을 훈련하여 업데이트의 통계적 분포를 이동시켜 신원 식별 가능성을 낮추면서도 작업 성능을 유지한다.
• 성능 평가 기준은 적대자 재식별 정확도(AP, 우연 수준 초과)와 모델 유틸리티(방어 없이 1.0으로 정규화)이다.

실험 결과

연구 질문

• RQ1 적대자가 타겟 사용자의 단일 사전 예시만을 이용해 피드재이티드 러닝에서 장치를 디아노니마이제이션할 수 있는가?
• RQ2 사용자별 데이터 수집 습관(예: 사진 촬영 습관 차이 등)이 모델 업데이트에 얼마나 심각한 통계적 지문을 만들어내는가?
• RQ3 데이터 증강 전략이 모델 유틸리티를 유지하면서도 디아노니마이제이션 위험을 얼마나 효과적으로 줄이는가?
• RQ4 텍스트 사전 데이터를 사용해 이미지 기반 학습에 적용할 경우, 다중 모달 설정에서 디아노니마이제이션 공격이 가능한가?
• RQ5 디아노니마이제이션 공격과 특성 추론 공격을 결합할 경우 공격 성능이 상호 보완적으로 향상되는가?

주요 결과

• 실제 데이터셋인 PIPA 및 Blog에서 이미지 분류 작업에서 장치의 디아노니마이제이션 정확도가 우연 수준보다 19~175배 높게 나타났다.
• 다중 모달 디아노니마이제이션 공격은 AUC 0.76를 기록하여, 사전 데이터 모달리티가 훈련 데이터와 다를 경우에도 효과적임을 입증했다.
• mm-aug 데이터 증강 전략은 OpenImages에서 적대자 AP를 75% 감소시키고 PIPA에서는 67% 감소시켜 노이즈 및 bkg-repl 방법보다 뛰어난 성능을 보였다.
• 무작위 변형 및 차별적 프라이버시 기반 방법은 모델 유틸리티를 심각하게 떨어뜨려 실생활 피드재이티드 러닝에 실용적이지 않다.
• 디아노니마이제이션 공격과 특성 추론 공격을 결합하면 두 작업 모두에서 성능이 최대 4% 향상되어 복합 위협의 위험성을 강조했다.
• mm-aug는 증강 효과 덕분에 높은 프라이버시 수준에서도 유틸리티를 유지하거나 향상시켜(유틸리티 >1.0) 훈련 오버헤드가 증가하더라도 유의미한 성능을 기록했다.