[논문 리뷰] Private and Communication-Efficient Edge Learning: A Sparse Differential Gaussian-Masking Distributed SGD Approach

Xin Zhang, Minghong Fang외 2명|arXiv (Cornell University)|2020. 01. 12.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 5

한 줄 요약

이 논문은 엣지 학습을 위한 새로운 분산형 확률적 경사 하강법인 SDM-DSGD를 제안한다. 이 방법은 높은 통신 효율성과 강력한 차별적 프라이버시를 동시에 달성한다. 희소 경사 하중화와 차별적 프라이버시가 보장되는 가우시안 마스킹을 결합함으로써 전송 오버헤드를 줄이고 프라이버시를 유지하며, 비볼록 설정 하에서 수렴 속도가 \tilde{O}(1/\sqrt{NT})임을 확보한다.

ABSTRACT

With rise of machine learning (ML) and the proliferation of smart mobile devices, recent years have witnessed a surge of interest in performing ML in wireless edge networks. In this paper, we consider the problem of jointly improving data privacy and communication efficiency of distributed edge learning, both of which are critical performance metrics in wireless edge network computing. Toward this end, we propose a new decentralized stochastic gradient method with sparse differential Gaussian-masked stochastic gradients (SDM-DSGD) for non-convex distributed edge learning. Our main contributions are three-fold: i) We theoretically establish the privacy and communication efficiency performance guarantee of our SDM-DSGD method, which outperforms all existing works; ii) We show that SDM-DSGD improves the fundamental training-privacy trade-off by {\em two orders of magnitude} compared with the state-of-the-art. iii) We reveal theoretical insights and offer practical design guidelines for the interactions between privacy preservation and communication efficiency, two conflicting performance goals. We conduct extensive experiments with a variety of learning models on MNIST and CIFAR-10 datasets to verify our theoretical findings. Collectively, our results contribute to the theory and algorithm design for distributed edge learning.

연구 동기 및 목표

• 분산형 엣지 학습 시스템에서 데이터 프라이버시와 통신 효율성을 동시에 확보하는 데 있어 핵심 과제를 해결한다.
• 프라이버시 보장을 위한 노이즈(예: i.i.d. 가우시안)와 통신 효율적인 경사 압축(예: 희소화) 간의 본질적 갈등을 극복한다. 이는 상호 성능 저하를 초래한다.
• 수렴 보장을 훼손하지 않으면서도 프라이버시 및 효율성 메커니즘을 통합한 통합 알고리즘 프레임워크를 설계한다.
• 비볼록 분산 학습 환경에서 프라이버시, 통신 효율성, 수렴 속도에 대한 이론적 성능 한계를 제시한다.
• 실세계 엣지 구현에서 프라이버시와 통신 효율성 간의 트레이드오프를 균형 잡는 데 실용적인 설계 지침을 제공한다.

제안 방법

• 전송 확률을 낮추기 위해 경사 희소화를 통해 수행 가능한 일반화된 차별적 코딩 DSGD 업데이트를 제안하며, 수렴을 유지한다.
• 희소 차별적 가우시안 마스킹 메커니즘을 도입하여 상위-k 희소화된 경사 성분에만 캘리브레이션된 i.i.d. 가우시안 노이즈를 주입함으로써 프라이버시를 보존한다.
• 이 방법은 이중 단계 프로세스를 사용한다. 첫째, 가장 큰 크기를 가진 성분들을 선택하여 경사를 희소화한다. 둘째, 이 성분들에 대해 추가적인 가우시안 노이즈를 통해 차별적 프라이버시를 확보한다.
• 이론적 분석은 비볼록, 분산형, 노이즈가 있는 경사 업데이트 하에서 유도된 새로운 수렴 경계를 활용하며, 수렴 속도는 \tilde{O}(1/\sqrt{NT})이다.
• 중앙 집중적 조율를 피하고 희소한 마스킹 전송을 통해 통신 부하를 줄이기 위해 분산형 엣지 네트워크를 대상으로 설계된다.
• 프라이버시(차별적 프라이버시)와 통신 효율성(희소화 이득)에 대한 이론적 보장을 확립하며, 프라이버시 예산과 희소화 비율에 대한 명시적 경계를 제공한다.

실험 결과

연구 질문

• RQ1 어떻게 분산형 엣지 학습에서 경사 희소화와 차별적 프라이버시를 동시에 최적화하여 통신 부하를 최소화하면서도 프라이버시를 유지할 수 있는가?
• RQ2 희소 경사 전송과 차별적 프라이버시 노이즈 주입을 결합한 분산형 SGD 방법의 이론적 수렴 속도는 무엇인가?
• RQ3 희소화에 의해 유도된 노이즈와 차별적 프라이버시 노이즈 간의 상호작용은 학습 수렴과 모델 유틸리티에 어떤 영향을 미치는가?
• RQ4 엣지 학습 시스템에서 프라이버시 예산, 희소화 비율, 수렴 속도 간의 최적 트레이드오프는 무엇인가?
• RQ5 통합 알고리즘이 모델 정확도나 수렴 속도를 훼손하지 않으면서도 강력한 프라이버시와 높은 통신 효율성을 동시에 달성할 수 있는가?

주요 결과

• 제안된 SDM-DSGD 방법은 비볼록 분산 학습에서 N명의 클라이언트와 T회의 반복 횟수를 고려할 때 \tilde{O}(1/\sqrt{NT})의 수렴 속도를 달성한다.
• 이 방법은 차별적 프라이버시 하에서 증명 가능한 프라이버시 보장을 제공하며, 프라이버시 예산은 노이즈 분산과 희소화 비율에 의해 정량적으로 경계된다.
• 희소화를 통해 전송되는 경사 성분 수를 줄임으로써 통신 효율성이 크게 향상되며, 전송 확률에 대한 이론적 경계가 존재한다.
• 이론적 분석은 희소화 노이즈와 차별적 프라이버시 노이즈 간의 상호작용을 적절한 노이즈 스케일링을 통해 관리할 수 있음을 밝혀내며, 두 목표가 공존할 수 있음을 시사한다.
• MNIST 및 CIFAR-10에서의 광범위한 실험을 통해 SDM-DSGD는 통신 비용을 줄이고 프라이버시를 유지하면서도 경쟁 가능한 모델 정확도를 유지함을 확인했다.
• 실증 결과는 이론적 트레이드오프와 설계 지침을 검증하며, 기존 방법 대비 프라이버시 및 통신 효율성 측면에서 뛰어난 성능을 보였다.