[논문 리뷰] Local Differential Privacy based Federated Learning for Internet of Things

Yang Zhao, Jun Zhao외 6명|arXiv (Cornell University)|2020. 04. 19.

Privacy-Preserving Technologies in Data참고 문헌 57인용 수 38

한 줄 요약

논문은 IoV 크라우드소싱을 위해 로컬 차등 개인정보 보호를 연합 학습과 결합하고, 그래디언트를扰? 노이즈 처리하는 새로운 LDP 메커니즘을 제안하며 프라이버시를 유지하고 통신 비용을 감소시키는 LDP-FedSGD 알고리즘으로 모델을 학습한다.

ABSTRACT

Internet of Vehicles (IoV) is a promising branch of the Internet of Things. IoV simulates a large variety of crowdsourcing applications such as Waze, Uber, and Amazon Mechanical Turk, etc. Users of these applications report the real-time traffic information to the cloud server which trains a machine learning model based on traffic information reported by users for intelligent traffic management. However, crowdsourcing application owners can easily infer users' location information, which raises severe location privacy concerns of the users. In addition, as the number of vehicles increases, the frequent communication between vehicles and the cloud server incurs unexpected amount of communication cost. To avoid the privacy threat and reduce the communication cost, in this paper, we propose to integrate federated learning and local differential privacy (LDP) to facilitate the crowdsourcing applications to achieve the machine learning model. Specifically, we propose four LDP mechanisms to perturb gradients generated by vehicles. The Three-Outputs mechanism is proposed which introduces three different output possibilities to deliver a high accuracy when the privacy budget is small. The output possibilities of Three-Outputs can be encoded with two bits to reduce the communication cost. Besides, to maximize the performance when the privacy budget is large, an optimal piecewise mechanism (PM-OPT) is proposed. We further propose a suboptimal mechanism (PM-SUB) with a simple formula and comparable utility to PM-OPT. Then, we build a novel hybrid mechanism by combining Three-Outputs and PM-SUB.

연구 동기 및 목표

• IoV 크라우드소싱 애플리케이션에서 프라이버시 우려를 제기하고 프라이버시-preserving 협업 학습의 필요성을 제시한다.
• 그래디언트 수준에서 로컬 차등 프라이버시를 통해 사용자 데이터를 보호하는 FL 프레임워크를 개발한다.
• 프라이버시와 모델 유용성 및 통신 효율성을 균형 있게 맞추기 위한 새로운 LDP 메커니즘과 LDP-FedSGD 알고리즘을 제안한다.

제안 방법

• 숫자 데이터에 대한 네 가지 로컬 DP 메커니즘(Three-Outputs, PM-OPT, PM-SUB, HM-TP)을 제안하여 그래디언트를 제약된 프라이버시 예산으로扰?한다.
• 차량이 로컬 그래디언트를 계산하고 LDP 메커니즘을 적용한 뒤, 클라우드 서버가 노이즈가 포함된 그래디언트를 모아 글로벌 모델을 업데이트하는 LDP-FedSGD 알고리즘을 도입한다.
• 인코딩을 용이하게 하고 유용성을 희생하지 않으면서 통신 비용을 줄이기 위해 연속 출력을 이산화한다.
• 배치된 변조 위치와 프라이버시 입자성을 비교하여 정직하지만 호기심 많은 aggregator가 있는 분산 교란 설정에서 ULDP를 정당화한다.
• 이전 LDP 메커니즘 대비 유용성의 이득에 대한 이론적 및 실증 평가를 제공한다.

실험 결과

연구 질문

• RQ1 로컬 차등 프라이버시를 어떻게 효과적으로 연합 학습에 통합하여 IoV에서 민감한 사용자 정보를 보호할 수 있는가?
• RQ2 ,

주요 결과

• Three-Outputs는 epsilon > ln 2(≈0.69)에서 Duchi보다 우수한 성능을 보이고; PM-SUB은 더 큰 epsilon 범위에서 PM 및 Duchi 보다 더 우수하거나 유사한 유틸리티를 제공하며, 하이브리드 HM-TP는 최악의 분산을 더 줄일 수 있다.
• PM-SUB은 PM-OPT보다 더 단순한 표현으로도 유사하거나 더 나은 유용성을 제공한다.
• 이산화 후처리는 유용성을 보존하면서 통신 비용을 낮춘다.
• 실세계 및 합성 데이터에 대한 실험 결과에서 LDP-FedSGD 하에서 평균 주파수 추정 및 경험적 위험 최소화 작업의 정확도가 향상됨을 보인다.
• 제안된 메커니즘은 epsilon 값의 넓은 범위에서 기존 LDP 메커니즘보다 더 높은 유용성을 달성한다.