[논문 리뷰] Wyner-Ziv Gradient Compression for Federated Learning

Kai Liang, Huiru Zhong외 2명|arXiv (Cornell University)|2021. 11. 16.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 9

한 줄 요약

이 논문은 통신 오버헤드를 줄이기 위해 역사적 기울기를 보조 정보로 활용하는 새로운 기울기 압축 방법인 국소 양자화된 확률적 기울기 하강법(Local Quantized Stochastic Gradient Descent, LQSGD)을 제안한다. 확률적 가정 없이 Wyner-Ziv 코딩 원리를 적용함으로써, QSGD보다 더 나은 수렴성과 테스트 정확도를 달성하며, CIFAR-10에서는 0.08% 정확도 손실, CIFAR-100에서는 3비트 양자화로 near-SGD 성능을 달성한다.

ABSTRACT

Due to limited communication resources at the client and a massive number of model parameters, large-scale distributed learning tasks suffer from communication bottleneck. Gradient compression is an effective method to reduce communication load by transmitting compressed gradients. Motivated by the fact that in the scenario of stochastic gradients descent, gradients between adjacent rounds may have a high correlation since they wish to learn the same model, this paper proposes a practical gradient compression scheme for federated learning, which uses historical gradients to compress gradients and is based on Wyner-Ziv coding but without any probabilistic assumption. We also implement our gradient quantization method on the real dataset, and the performance of our method is better than the previous schemes.

연구 동기 및 목표

• 고차원 모델 파라미터로 인해 발생하는 대규모 분산 학습에서의 통신 병목 현상을 해결하기 위해.
• 분산 학습에서 인접한 확률적 기울기 간의 높은 상관관계를 활용하여 압축 효율을 향상시키기 위해.
• 확률적 가정 없이 역사적 기울기를 보조 정보로 사용하는 실용적인 기울기 압축 기법을 개발하기 위해.
• 실제 데이터셋에서 제안된 방법을 실험적으로 검증하고 QSGD와 같은 기존 기법들과의 성능을 비교하기 위해.
• 기본 가정 하에 기울기 양자화 오차와 수렴 속도에 대한 이론적 경계를 설정하기 위해.

제안 방법

• 클라이언트 측에서 역사적 기울기를 보조 정보로 사용하는 기울기 압축 기법인 국소 양자화된 확률적 기울기 하강법(LQSGD)을 제안한다.
• 데이터 분포에 대한 확률적 가정 없이도 효율적인 손실 압축을 가능하게 하는 Wyner-Ziv 코딩 원리를 기울기 압축에 적용한다.
• 현재 기울기를 역사적 기울기와의 차이를 기반으로 추정하는 양자화 전략을 도입하여 재구성 오차를 최소화한다.
• 영점 평균의 노이즈를 추가하여 편향이 없는 기울기 추정기를 도입함으로써 최적화의 수렴 성질을 유지한다.
• 계산 비용이 너무 높아 2-norm를 계산하기 어려운 대규모 모델(예: ResNet18)에서는 실무적으로 기울기의 무한노름을 사용한다.
• 8개의 클라이언트를 사용하여 cpusmall-scale, CIFAR-10, CIFAR-100과 같은 실제 데이터셋에 대해 성능을 평가하기 위해 이 기법을 구현한다.

실험 결과

연구 질문

• RQ1 분산 학습에서 역사적 기울기를 효과적으로 보조 정보로 활용하여 기울기 압축 효율을 향상시킬 수 있는가?
• RQ2 제한된 통신 비트 수 조건에서 제안된 LQSGD 방법이 QSGD에 비해 수렴 속도와 모델 정확도 측면에서 어떻게 비교되는가?
• RQ3 제안된 압축 기법에 대한 양자화 오차와 수렴 속도에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 보조 정보를 사용할 경우, 비보조 정보 기법에 비해 평균 제곱 기울기의 상한값이 더 작아지는가?
• RQ5 강한 양자화(예: 2–3비트/파rameter) 조건에서도 높은 모델 정확도를 유지할 수 있는가?

주요 결과

• 2비트 양자화로 cpusmall-scale 데이터셋에서 LQSGD는 1200 반복만에 수렴했고, QSGD(1700 반복)를 능가하며 GD 성능과 동일했다.
• 동일한 데이터셋에서 LQSGD는 QSGD보다 최적 모델 파라미터와의 유클리드 거리가 더 작아, 더 나은 최적화 안정성을 보였다.
• CIFAR-10에서 3비트 양자화로 LQSGD는 94.53%의 테스트 정확도를 달성했고, 전체 정밀도 SGD(94.61%)와 비교해 0.08%의 정확도 손실만을 보였다. 반면 QSGD는 0.42% 손실을 보였다.
• CIFAR-100에서는 LQSGD가 76.45%의 테스트 정확도를 달성해 SGD(76.44%)와 거의 동일했고, QSGD(76.03%)를 크게 앞섰다.
• 약 70번의 학습 에포크 이후, LQSGD의 테스트 정확도는 CIFAR-10과 CIFAR-100 양쪽 모두에서 QSGD를 초월했으며, 이는 더 나은 장기 최적화 성능을 의미한다.
• 이론적 분석 결과, 역사적 기울기를 사용할 경우 평균 제곱 기울기의 상한값이 감소하고, 기본 가정 하에 수렴 속도가 보장됨을 입증했다.