[논문 리뷰] Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees

Richeng Jin, Yufan Huang외 3명|arXiv (Cornell University)|2020. 02. 25.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 43

한 줄 요약

Stochastic-Sign SGD를 두 개의 압축기(sto-sign 및 dp-sign)로 구성되어 데이터 이질성 하에서 수렴을 달성하고, 연합 학습에서 Byzantine 견고성과 차등 개인정보를 제공하며, 오차 피드백 변형과 MNIST/CIFAR-10 실험이 제공됩니다.

ABSTRACT

Federated learning (FL) has emerged as a prominent distributed learning paradigm. FL entails some pressing needs for developing novel parameter estimation approaches with theoretical guarantees of convergence, which are also communication efficient, differentially private and Byzantine resilient in the heterogeneous data distribution settings. Quantization-based SGD solvers have been widely adopted in FL and the recently proposed SIGNSGD with majority vote shows a promising direction. However, no existing methods enjoy all the aforementioned properties. In this paper, we propose an intuitively-simple yet theoretically-sound method based on SIGNSGD to bridge the gap. We present Stochastic-Sign SGD which utilizes novel stochastic-sign based gradient compressors enabling the aforementioned properties in a unified framework. We also present an error-feedback variant of the proposed Stochastic-Sign SGD which further improves the learning performance in FL. We test the proposed method with extensive experiments using deep neural networks on the MNIST dataset and the CIFAR-10 dataset. The experimental results corroborate the effectiveness of the proposed method.

연구 동기 및 목표

• 연합 학습의 도전 과제(통신 효율성, 데이터 이질성, 프라이버시, Byzantine 실패)를 동기 부여합니다.
• 이질적 데이터 분포 하에서 수렴을 보장하기 위해 sign 기반 그래디언트 압축기를 도입합니다.
• 오차 피드백을 통한 수렴 분석과 함께 차등 프라이버시 압축기를 통한 프라이버시 보장을 제공합니다.
• 데이터 이질성에 따른 Byzantine 견고성 한계를 정량화하고, 신뢰도 기반 가중 투표 및 Top-k 희소화 등의 개선으로 강건성을 향상합니다.
• MNIST 및 CIFAR-10에서의 신경망 실험을 통해 접근 방식의 유효성과 요구 조건을 검증합니다.

제안 방법

• sto-sign을 양자화된 그래디언트 결과의 부호를 전송하는 이중 수준의 확률적 양자화로 정의합니다.
• dp-sign을 sto-sign의 차등 프라이버시 버전으로 정의하여 (epsilon, delta)-DP를 달성합니다.
• 데이터 이질 분포 하에서 수렴 분석을 갖춘 DP-SIGN SGD 및 Sto-SIGN SGD를 제안합니다.
• 다수 투표로 인한 오류를 보상하기 위한 오차 피드백 메커니즘을 도입하고 해당 변형에 대한 수렴을 증명합니다.
• 바이잔틴 견고성 한계를 확립하고 신뢰도 기반 가중치 부여 및 강건성 향상 방안을 논의합니다.
• 데이터 이질성 하에서의 공격자에 대한 강건성 확보 및 성능 분석으로 프레임워크를 확장합니다.

실험 결과

연구 질문

• RQ1 데이터가 작업자 간에 이질적으로 분포될 때 부호 기반 그래디언트 방법은 어떻게 수렴할 수 있나요?
• RQ2 연합 학습에서 수렴을 보장하고 통신 효율을 유지하는 확률적 그래디언트 압축 스킴은 무엇인가요?
• RQ3 성능 저하 없이 부호 기반 그래디언트 압축에 차등 프라이버시를 통합하려면 어떻게 해야 하나요?
• RQ4 Stochastic-Sign SGD의 바이잔틴 견고성 수준은 얼마이며 이를 어떻게 향상시킬 수 있나요?

주요 결과

• Sto-SIGN SGD는 이질적 데이터 하에서 로컬 최적점의 이웃으로 수렴하며, 노동자(M) 수가 증가할수록 간극이 감소합니다.
• 확률적 압축기를 사용해 잘못된 부호의 확률을 한정할 수 있어 SIGN SGD가 실패하는 부분에서 수렴이 가능해집니다.
• DP-SIGN SGD는 통신 효율성과 정확도를 유지하면서 차등 프라이버시를 보장합니다.
• 오차 피드백이 있는 Stochastic-Sign SGD는 학습 성능을 추가로 개선하고 수렴을 입증합니다.
• 논문은 데이터 이질성에 의존하는 바이잔틴 견고성 한계를 도출하고 강건성을 향상시키는 가중 투표 변형을 제안합니다.
• MNIST 및 CIFAR-10에서의 실험은 통신 제약하에서의 효과성과 강건성을 뒷받침합니다.