[논문 리뷰] Hyper-Sphere Quantization: Communication-Efficient SGD for Federated Learning

Xinyan Dai, Yan Xiao외 5명|arXiv (Cornell University)|2019. 11. 12.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 32

한 줄 요약

Hyper-Sphere Quantization (HSQ)는 페르소나 학습에서 전체 기울기 벡터를 초구면 위의 공유 코드북을 사용하여 양자화하는 통신 효율적인 기울기 압축 프레임워크이다. 이는 수렴을 보장하면서도 반복당 통신 비용을 O(log d)로 줄이며, QSGD와 같은 이전 방법들보다 훨씬 낮은 대역폭 사용을 가능하게 하며 정확도 저하가 최소화되고 강력한 이론적 보장이 있다.

ABSTRACT

The high cost of communicating gradients is a major bottleneck for federated learning, as the bandwidth of the participating user devices is limited. Existing gradient compression algorithms are mainly designed for data centers with high-speed network and achieve $O(\sqrt{d} \log d)$ per-iteration communication cost at best, where $d$ is the size of the model. We propose hyper-sphere quantization (HSQ), a general framework that can be configured to achieve a continuum of trade-offs between communication efficiency and gradient accuracy. In particular, at the high compression ratio end, HSQ provides a low per-iteration communication cost of $O(\log d)$, which is favorable for federated learning. We prove the convergence of HSQ theoretically and show by experiments that HSQ significantly reduces the communication cost of model training without hurting convergence accuracy.

연구 동기 및 목표

• 사용자 기기의 대역폭이 제한된 환경에서 기울기 전송의 높은 통신 비용을 해결하기 위해.
• 특히 대역폭이 제한된 환경에서 QSGD와 같은 기존 방법들보다 반복당 통신 비용을 더 낮춘 기울기 압축 방법을 설계하기 위해.
• 설정 가능한 트레이드오프를 통해 통신 효율성과 기울기 정확도의 균형을 이루는 이론적으로 탄탄한 프레임워크를 제공하기 위해.
• 클라이언트 기기의 통신 임계값을 낮춰 페르소나 학습에 더 넓은 참여를 가능하게 하기 위해.

제안 방법

• HSQ는 단위 초구면 위의 공유된 사전 계산된 코드북에서 기울기와 가장 가까운 코드워드를 선택하여 전체 기울기 벡터를 하나의 단위로 양자화한다.
• 기울기와 코드워드 간의 각도에 기반한 확률적 선택을 통해 양자화 오차를 최소화한다.
• 전송되는 것은 선택된 코드워드의 인덱스 뿐이므로 반복당 통신 비용이 O(log d) 비트로 줄어든다.
• 이 방법은 두 가지 변형을 지원한다: Greedy-HSQ(편향 있음, 그러나 분산이 낮음)와 Unbiased-HSQ(편향 없음, 분산이 높음)로 성능 트레이드오프를 가능하게 한다.
• 코드워드는 정규직교 기저, 무작위 회전, 가우시안, 또는 K-means 클러스터링을 통해 생성되어 양자화 정확도를 최적화한다.
• 이 프레임워크는 부드러운 볼록 및 비볼록 최적화 문제 모두에 대해 수렴이 보장된다는 것을 이론적으로 증명되었다.

실험 결과

연구 질문

• RQ1 기존 방법들 중 가장 높은 성능를 기록한 O(√d log d)보다 낮은 반복당 통신 비용을 확보하면서도 페르소나 학습에서 수렴을 보장할 수 있는가?
• RQ2 극한 수준의 압축(예: O(log d) 비용)을 적용할 경우 통신 효율성과 기울기 정확도 사이의 트레이드오프는 어떠한가?
• RQ3 전체 기울기 벡터의 벡터 양자화가 요소별 또는 희소 양자화와 비교해 수렴성과 통신 비용 측면에서 어떻게 다를까?
• RQ4 초구면 위에서의 확률적, 코드워드 기반 접근 방식이 효과적인 모델 훈련을 위해 충분한 기울기 충실도를 유지할 수 있는가?

주요 결과

• HSQ는 반복당 통신 비용을 O(log d)로 확보하여 QSGD의 O(√d log d)보다 훨씬 낮게 하여 대역폭이 제한된 페르소나 학습에 매우 적합하다.
• d = 64일 때, HSQ는 기준선 대비 압축 비율을 크게 높였고 수렴 정확도 저하가 최소한이었다.
• 실제로 Greedy-HSQ가 Unbiased-HSQ를 능가하며, 훈련 안정성에서 분산 감소가 편향 보다 더 중요한 역할을 할 수 있음을 시사한다.
• 가짜 노름 양자화에 4, 6, 또는 32비트를 사용할 경우 유사한 성능를 기록했지만, 2비트는 최종 테스트 정확도를 떨어뜨렸다.
• 데이터센터 훈련 환경에서 HSQ는 반복당 시간을 14.4% 줄였고 테스트 정확도는 0.5% 이내로 떨어졌다.
• 이론적으로 부드러운 볼록 및 비볼록 함수 모두에 대해 수렴 보장을 유지함을 입증하였다.