[논문 리뷰] Efficient Federated Learning over Multiple Access Channel with Differential Privacy Constraints

Amir Sonee, Stefano Rini|arXiv (Cornell University)|2020. 05. 15.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 다중 접속 채널 상에서 통신 효율성과 차별적 프라이버시를 동시에 최적화하기 위해 양자화된 확률적 경사하강법과 디지털 가짜 잡음 주입을 조합한 새로운 분산학습 프레임워크를 제안한다. 주요 기여는 용량 제약과 프라이버시 제약 하에서 수렴 속도를 최대화하기 위해 양자화 수준과 잡음 파라미터를 분석적으로 최적화한 것이다. 이는 더 낮은 전송 속도가 프라이버시를 유지하면서도 더 빠른 수렴을 가능하게 한다는 것을 보여준다.

ABSTRACT

In this paper, the problem of federated learning (FL) through digital communication between clients and a parameter server (PS) over a multiple access channel (MAC), also subject to differential privacy (DP) constraints, is studied. More precisely, we consider the setting in which clients in a centralized network are prompted to train a machine learning model using their local datasets. The information exchange between the clients and the PS takes places over a MAC channel and must also preserve the DP of the local datasets. Accordingly, the objective of the clients is to minimize the training loss subject to (i) rate constraints for reliable communication over the MAC and (ii) DP constraint over the local datasets. For this optimization scenario, we proposed a novel consensus scheme in which digital distributed stochastic gradient descent (D-DSGD) is performed by each client. To preserve DP, a digital artificial noise is also added by the users to the locally quantized gradients. The performance of the scheme is evaluated in terms of the convergence rate and DP level for a given MAC capacity. The performance is optimized over the choice of the quantization levels and the artificial noise parameters. Numerical evaluations are presented to validate the performance of the proposed scheme.

연구 동기 및 목표

• 제한된 채널 용량을 가진 무선 네트워크에서 효율적이고 프라이버시 보장된 분산학습을 해결하기 위해.
• 다중 접속 채널(MAC) 통신 모델에 차별적 프라이버시 제약을 통합하기 위해.
• 분산 학습에서 수렴 속도, 통신 효율성, 프라이버시 보호 간의 트레이드오���을 최적화하기 위해.
• 로컬 데이터 프라이버시를 유지하면서도 높은 모델 정확도를 유지하는 디지털 통신 체계를 개발하기 위해.
• 용량 제약과 프라이버시 제약 하에서 최적의 양자화 및 잡음 파라미터를 위한 분석적 조건을 유도하기 위해.

제안 방법

• 클라이언트는 로컬 데이터셋에서 분산 확률적 경사하강법(D-DSGD)을 수행하고, 다수준 양자화를 통해 기울기를 양자화한다.
• 이산 이항 기반 메커니즘으로 모델링된 디지털 가짜 잡음이 양자화된 기울기에 추가되어 국소 차별적 프라이버시(LDP)를 보장한다.
• MAC 용량 제약과 LDP 제약 하에서 수렴 속도를 최대화하기 위해 제약 조건이 있는 정수 비선형계획문제(INLP)로 시스템을 수립한다.
• 주어진 프라이버시 예산 하에서 수렴 속도를 최대화하기 위해 양자화 수준과 잡음 파라미터를 균형 잡는다.
• 고급 집중 불등식과 이항 기반 메커니즘에 대한 LDP 분석을 통해 프라이버시 손실의 이론적 경계를 도출한다.
• 수치적 평가를 통해 낙관적 회귀 모델을 사용하여 합성 데이터, 다양한 SNR, 프라이버시 임계값, 채널 조건 하에서 제안된 기법을 검증한다.

실험 결과

연구 질문

• RQ1 다중 접속 채널 상에서 분산학습을 어떻게 통신 효율성과 차별적 프라이버시를 동시에 확보할 수 있는가?
• RQ2 용량 제약과 프라이버시 제약 하에서 수렴 속도를 최대화하기 위해 최적의 양자화 수준과 가짜 잡음 파라미터 간의 상호 관계는 무엇인가?
• RQ3 신호 대 잡음비(SNR)는 이 프레임워크에서 수렴 속도와 달성 가능한 프라이버시 수준에 어떤 영향을 미치는가?
• RQ4 제안된 기법은 국소 차별적 프라이버시를 유지하면서도 기존 방법보다 수렴 속도에서 뛰어난 성능을 보일 수 있는가?
• RQ5 제한된 채널 용량 하에서 시스템이 원하는 수준의 국소 차별적 프라이버시를 달성하기 위한 분석적 조건은 무엇인가?

주요 결과

• 제안된 BinLDP-QSGD 기법은 용량 제약과 프라이버시 제약 하에서 양자화 및 잡음 파라미터를 최적화함으로써 더 빠른 수렴을 달성한다.
• 고정된 프라이버시 예산(Δε = 4, δ = 10⁻²) 하에서, SNR을 높일수록 수렴 속도와 달성 가능한 프라이버시 수준이 모두 향상된다.
• 높은 SNR는 낮은 잡음과 높은 양자화 수준을 가능하게 하여 더 빠른 수렴과 더 나은 모델 정확도를 이끈다.
• 최적 전략은 LDP 제약을 충족시키는 최대 허용 양자화 수준과 최소 잡음 수준을 사용하는 것으로, 즉 εᵗ = Δε이다.
• SNR이 높을수록 수렴 속도가 크게 향상되며, 반복 과정에서 학습 손실이 더 빠르게 감소한다.
• 동일한 채널 용량 하에서 비프라이버시 기반 기준 대비 수렴 속도를 20% 향상시킬 수 있다.