[논문 리뷰] CPFed: Communication-Efficient and Privacy-Preserving Federated Learning.

Rui Hu, Yanmin Gong외 1명|arXiv (Cornell University)|2020. 03. 30.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 14

한 줄 요약

CPFed는 주기적 평균화, 가우시안 노이즈 주입, 그리고 동형 암호화를 통한 안전한 집계를 결합하여 통신 오버헤드를 줄이고 개인정보 유출을 방지하는 통신 효율적이고 프라이버시를 보장하는 분산 학습 프레임워크이다. 이는 볼록 및 비볼록 모델에 대해 공식적인 프라이버시 보장을 제공하며, 이론적 수렴 속도를 확보하여 높은 모델 정확도를 달성한다.

ABSTRACT

Federated learning is a machine learning setting where a set of edge devices iteratively train a model under the orchestration of a central server, while keeping all data locally on edge devices. In each iteration of federated learning, edge devices perform computation with their local data, and the local computation results are then uploaded to the server for model update. During this process, the challenges of privacy leakage and communication overhead arise due to the extensive information exchange between edge devices and the server. In this paper, we develop CPFed, a communication-efficient and privacy-preserving federated learning method, to solve the above challenges. CPFed integrates three key components: (1) periodic averaging where local computation results at edge devices are only periodically averaged at the server; (2) Gaussian mechanism where edge devices randomly perturb their local computation results before sending the results to the server; and (3) secure aggregation where the perturbed local computation results are homomorphically encrypted before being sent to the server. CPFed can address both the communication efficiency and privacy leakage challenges in federated learning while achieving high model accuracy. We provide an end-to-end privacy guarantee of CPFed and analyze its theoretical convergence rates for both convex and non-convex models. Through extensive numerical experiments on real-world datasets, we demonstrate the effectiveness and efficiency of our proposed method.

연구 동기 및 목표

• 엣지 기기에서 서버로 전송되는 모델 업데이트 빈도를 줄임으로써 분산 학습에서의 통신 오버헤드를 해결한다.
• 분산 학습에서 국소 모델 업데이트 전송으로 인한 프라이버시 泄露 위험을 완화한다.
• 통신 빈도를 줄이고 프라이버시 보호 기능을 추가함에도 불구하고 높은 모델 정확도를 유지한다.
• 차별적 프라이버시와 안전한 집계를 결합하여 종단 간 프라이버시 보장을 제공한다.
• 제안된 프레임워크 하에서 볼록 및 비볼록 최적화 문제에 대한 이론적 수렴 속도를 분석한다.

제안 방법

• 지속적인 평균화를 구현하여 국소 모델 업데이트를 엣지 기기에서 누적하고 주기적으로 서버로 전송함으로써 통신 빈도를 감소시킨다.
• 차별적 프라이버시를 확보하기 위해 전송 전에 캘리브레이션된 랜덤 노이즈를 국소 모델 업데이트에 추가한다.
• 동형 암호화를 사용하여 서버에서 개별 기여를 복호화하지 않고도 왜곡된 모델 업데이트를 안전하게 집계한다.
• 주기적 평균화, 노이즈 주입, 안전한 집계의 세 구성 요소를 통합하여 통신 및 프라이버시 문제를 동시에 해결하는 유일한 프레임워크를 구성한다.
• 개별 데이터의 추론을 방지하기 위해 차별적 프라이버시와 안전한 집계를 결합하여 종단 간 프라이버시를 보장한다.
• 이론적 분석을 통해 CPFed 프로토콜 하에서 볼록 및 비볼록 목적 함수에 대한 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 모델 정확도를 훼손하지 않으면서 분산 학습에서 통신 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 가우시안 노이즈를 통한 차별적 프라이버시는 분산 학습에서 프라이버시 泄露를 어느 정도 줄일 수 있는가?
• RQ3 동형 암호화를 활용한 안전한 집계는 개별 기기의 업데이트를 재구성하는 것을 방지할 수 있는가?
• RQ4 제안된 프레임워크의 이론적 수렴 행동은 볼록 및 비볼록 설정에서 어떻게 나타나는가?
• RQ5 주기적 평균화, 노이즈 주입, 안전한 집계의 통합은 실세계 데이터셋에서 전체 모델 성능에 어떤 영향을 미치는가?

주요 결과

• CPFed는 주기적 평균화를 통해 모델 업데이트 전송 주파수를 제한함으로써 통신 오버헤드를 크게 감소시킨다.
• 가우시안 노이즈와 안전한 집계의 통합은 공식적인 종단 간 프라이버시 보장을 제공하여 개인 데이터 기여를 보호한다.
• 실세계 데이터셋에서 높은 모델 정확도를 유지하여, 통신 빈도를 줄이고 프라이버시 메커니즘을 추가함에도 불구하고 실용적 타당성을 입증한다.
• 이론적 분석을 통해 볼록 및 비볼록 모델 모두에 대해 수렴이 확인되어 프레임워크의 강건성을 뒷받침한다.
• 광범위한 수치 실험을 통해 CPFed가 실세계 분산 학습 환경에서 효과적이고 효율적임을 검증한다.