[논문 리뷰] Federated $f$-Differential Privacy

Qinqing Zheng, Shuxiao Chen외 2명|arXiv (Cornell University)|2021. 02. 22.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 9

한 줄 요약

이 논문은 개인 데이터 레코드 수준의 기밀 보장을 제공하는 피어드 $f$-차별적 프라이버시를 소개한다. 이는 단일 및 공모 공격자에 대비해 개인 데이터 레코드를 보호하는 데 특화된 개념이다. PriFedSync 프레임워크를 제안하며, 최신 FL 알고리즘을 통합하고 가우시안 차별적 프라이버시 조합을 통해 증명 가능한 프라이버시를 달성하여 시각 작업에서 프라이버시, 정확도, 계산 비용 간의 명확한 트레이드오프를 보여준다.

ABSTRACT

Federated learning (FL) is a training paradigm where the clients collaboratively learn models by repeatedly sharing information without compromising much on the privacy of their local sensitive data. In this paper, we introduce federated $f$-differential privacy, a new notion specifically tailored to the federated setting, based on the framework of Gaussian differential privacy. Federated $f$-differential privacy operates on record level: it provides the privacy guarantee on each individual record of one client's data against adversaries. We then propose a generic private federated learning framework {PriFedSync} that accommodates a large family of state-of-the-art FL algorithms, which provably achieves federated $f$-differential privacy. Finally, we empirically demonstrate the trade-off between privacy guarantee and prediction performance for models trained by {PriFedSync} in computer vision tasks.

연구 동기 및 목표

• 피어드 러닝에서 개인 데이터 레코드에 대한 기밀 보장이 부족한 점을 보완하기 위해, 특히 실용적 사용에 부적합한 사용자 수준의 기밀 보장보다는 레코드 수준의 보장을 제공하고자 한다.
• 단일 공격자와 공모 공격자에 대비해 각각 개인 레코드를 보호하는 새로운 기밀 보장 개념인 약한 및 강한 피어드 $f$-차별적 프라이버시를 체계화하고자 한다.
• 신뢰할 수 있는 서버가 필요 없이도 개인화 및 글로벌 모델을 모두 지원하는 일반적이고 조합 가능하며 실용적인 프라이빗 피어드 러닝 프레임워크인 PriFedSync를 설계하고자 한다.
• 이질적이고 비독립적 동일분포(Non-IID) 데이터 환경에서 프라이버시, 모델 정확도, 계산 비용 간의 트레이드오프를 실증적으로 평가하고자 한다.

제안 방법

• 가우시안 차별적 프라이버시(GDP) 기반으로 약한 및 강한 피어드 $f$-차별적 프라이버시 개념을 제안하며, 각 개인 데이터 레코드에 대한 기밀 보장을 보장한다.
• 클라이언트 수준에서 노이즈를 주입함으로써 표준 FL 알고리즘(FedAvg, FedSGD 등)을 통합하는 PriFedSync 프레임워크를 설계한다.
• GDP의 조합 정리를 적용하여 다중 학습 라운드 및 클라이언트 업데이트 간 누적 기밀 손실을 유도한다.
• 로컬 모델 기울기에 대해 가우시안 메커니즘을 통해 노이즈를 주입하며, 기밀 파라미터를 데이터 샘플링 비율과 학습 반복 횟수에 따라 조정한다.
• 클라이언트가 로컬 모델을 유지하고 단지 집계된 업데이트만 공유하는 개인화된 모델 업데이트 전략을 도입하여 데이터 이질성 하에서 성능을 향상시킨다.
• 점근적 분석을 통해 수렴성과 기밀 보장을 분석하며, GDP 프레임워크 하에서 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 피어드 러닝에서 사용자 수준이 아닌 개인 데이터 레코드 수준에서 기밀 보장을 제공할 수 있는가?
• RQ2 여러 악성 클라이언트가 공모하여 개인 정보를 유추할 수 있는 상황에서 개인 데이터 레코드를 어떻게 보호할 수 있는가?
• RQ3 프라이빗 피어드 러닝에서 기밀 보장, 모델 정확도, 계산 비용 간의 트레이드오프는 어떠한가?
• RQ4 개인화된 피어드 러닝은 데이터 이질성 하에서 성능을 향상시킬 수 있으며, 강력한 기밀 보장을 유지할 수 있는가?
• RQ5 배치 크기와 학습 반복 횟수의 선택이 프라이빗 FL에서 기밀-정확도 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• PriFedSync에서 개인화된 모델은 동일한 기밀 예산 하에서 비독립적 동일분포(Non-IID) 데이터 환경에서 글로벌 모델보다 훨씬 높은 테스트 정확도를 달성한다.
• 작은 배치 크기일수록 더 강력한 기밀 보장(낮은 기밀 파라미터 $\mu_{\max}$)을 제공하며, 동일한 학습 조건에서 $B=8$일 경우 $B=16$ 대비 약 $0.83\times$ 낮은 기밀 파라미터를 기록한다.
• 배치 크기를 줄이면 계산 비용이 증가한다: $B=8$은 $B=16$ 대비 $2.78\times$ 더 많은 학습 라운드와 $1.39\times$ 더 많은 총 샘플을 소모하여 $90\%$ 정확도에 도달했다.
• CIFAR-10에서 $\beta=0.5$일 경우, 평균 상위-1 테스트 정확도는 $\sigma=0.5$ 조건에서 207라운드 후 약 $52\%$에 도달했으며, 비기밀 모델은 $59.61\%$의 정확도를 기록했다.
• 노이즈가 주입된 Adam 옵timizer는 비기밀 모델의 SGD보다 더 높은 안정성을 보였지만, 비기밀 모델에서는 SGD가 더 우수한 일반화 성능을 보였다.
• 기밀 파라미터 $\mu_{\max}$는 데이터 샘플링 비율과 $\sqrt{KR}$의 곱에 선형적으로 비례함을 확인하여 이론적 기밀 조합 경계가 검증되었다.