[논문 리뷰] LDP-Fed: Federated Learning with Local Differential Privacy

Stacey Truex, Ling Liu외 3명|arXiv (Cornell University)|2020. 06. 05.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 25

한 줄 요약

LDP-Fed는 딥 뉴럴 네트워크 학습에서 고차원 연속 모델 파라미터를 보호하기 위해 국소적 차별적 프라이버시(LDP)를 통합한 분산 학습 프레임워크를 제안한다. 이는 각 참가자에 대한 프라이버시 예산을 설정하는 새로운 LDP 모듈과 노이즈 영향을 최소화하기 위한 선택적 노이즈 부여 기법을 도입하여, 대규모 DNN 학습에서 최소한의 정확도 손실로 강력한 프라이버시 보장을 달성한다.

ABSTRACT

This paper presents LDP-Fed, a novel federated learning system with a formal privacy guarantee using local differential privacy (LDP). Existing LDP protocols are developed primarily to ensure data privacy in the collection of single numerical or categorical values, such as click count in Web access logs. However, in federated learning model parameter updates are collected iteratively from each participant and consist of high dimensional, continuous values with high precision (10s of digits after the decimal point), making existing LDP protocols inapplicable. To address this challenge in LDP-Fed, we design and develop two novel approaches. First, LDP-Fed's LDP Module provides a formal differential privacy guarantee for the repeated collection of model training parameters in the federated training of large-scale neural networks over multiple individual participants' private datasets. Second, LDP-Fed implements a suite of selection and filtering techniques for perturbing and sharing select parameter updates with the parameter server. We validate our system deployed with a condensed LDP protocol in training deep neural networks on public data. We compare this version of LDP-Fed, coined CLDP-Fed, with other state-of-the-art approaches with respect to model accuracy, privacy preservation, and system capabilities.

연구 동기 및 목표

• 고차원 연속 모델 파라미터를 공유할 때 분산 학습에서 공식적인 프라이버시 보장이 부족한 문제를 해결하기 위해.
• 국소적 차별적 프라이버시(LDP)를 단일 값의 범주형 데이터를 넘어서 딥 러닝에서 복잡한 고정밀도 모델 업데이트로 확장하기 위해.
• 신뢰할 수 있는 집계자에 의존하지 않고도 개별 참가자가 자신의 로컬 프라이버시 예산을 정의할 수 있도록 하기 위해.
• 공식적인 프라이버시 보장을 유지하면서도 노이즈가 모델 수렴에 악영향을 주는 것을 최소화하기 위해.
• 강력한 프라이버시 제약 조건 하에서도 높은 모델 정확도를 유지하는 대규모 분산 학습 시스템을 개발하기 위해.

제안 방법

• 분산 학습에서 반복적으로 발생하는 고차원 모델 파라미터 업데이트에 공식적인 차별적 프라이버시를 적용하는 새로운 LDP 모듈 설계.
• 노이즈 누적을 줄이기 위해 각 학습 라운드에서 모델 파라미터의 일부만을 선택적으로 페르투브레이션하고 전송하는 전략 구현.
• 고정밀도 연속 값 모델 파라미터(예: 소수점 이하 10자리 이상)를 처리할 수 있도록 연속적 LDP 메커니즘의 적응.
• CLDP-Fed 변종에서 시스템 효율성을 향상시키면서도 프라이버시를 유지하기 위해 압축된 LDP 프로토콜(CLD) 사용.
• 프라이버시 예산과 모델 성능의 균형을 맞추기 위한 유틸리티 인식 노이즈 부여 기법 통합.
• 신뢰할 수 있는 제3자 없이도 LDP 준수 집계를 지원하는 파라미터 서버 아키텍처 설계.

실험 결과

연구 질문

• RQ1 국소적 차별적 프라이버시는 분산 학습에서 고차원 연속 모델 파라미터에 공식적으로 적용될 수 있는가?
• RQ2 노이즈 주입 방식은 어떻게 최적화되어야 하며, 딥 뉴럴 네트워크 학습에서 강력한 프라이버시 보장을 확보하면서도 모델 유틸리티를 유지할 수 있는가?
• RQ3 신뢰할 수 있는 집계자가 없이도 개별 참가자가 분산 학습 시스템에서 자신의 로컬 프라이버시 예산을 정의하고 시행할 수 있는가?
• RQ4 LDP 기반 분산 학습에서 프라이버시 예산, 모델 정확도, 시스템 효율성 간의 상호 상충 관계는 어떠한가?
• RQ5 LDP-Fed는 최신 기술 수준의 프라이버시 보장 분산 학습 방법과 비교해 프라이버시, 정확도, 시스템 기능 측면에서 어떻게 성능을 내는가?

주요 결과

• LDP-Fed는 LDP를 고차원 연속 모델 파라미터로 확장하여 분산 딥 뉴럴 네트워크 학습에서 공식적인 프라이버시 보장을 가능하게 했다.
• CLDP-Fed 변종은 최신 기술 수준의 접근 방식과 경쟁 가능한 모델 정확도를 달성하면서도 강력한 프라이버시 보장을 유지했다.
• 참가자들은 자신의 프라이버시 예산을 로컬에서 정의할 수 있어 세밀하고 개인화된 프라이버시 보호가 가능했다.
• 선택적 노이즈 부여 및 필터링 메커니즘이 노이즈 영향을 크게 줄여 수렴성과 모델 유틸리티를 향상시켰다.
• 중요한 암호화 기법과 신뢰할 수 있는 집계자에 의존하지 않아 시스템 기능 측면에서 기존 방법을 초월했다.
• 실증 평가를 통해 LDP-Fed는 엄격한 프라이버시 예산 조건 하에서도 높은 모델 정확도를 유지함으로써 실생활 적용 가능성의 실현 가능성을 입증했다.