[논문 리뷰] CosSGD: Communication-Efficient Federated Learning with a Simple Cosine-Based Quantization

Yang He, Hui‐Po Wang외 2명|arXiv (Cornell University)|2020. 12. 15.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 모델 가중치와 기울기를 압축하기 위해 새로운 코사인 기반 비선형 양자화를 사용하는 통신 효율적인 플러드레이티드 학습 방법인 CosSGD를 제안한다. 더 큰 크기의 값에 대해 더 세밀한 양자화 수준을 할당함으로써, CosSGD는 초고압축 비율에서도 최신 기술 수준의 성능을 달성한다—1비트 양자화에서도 전체 정밀도 학습과 동일한 성능을 유지한다. 이는 낮은 계산 오버헤드와 기존 기법(예: 기울기 희소화)과의 호환성을 유지한다.

ABSTRACT

Federated learning is a promising framework to mitigate data privacy and computation concerns. However, the communication cost between the server and clients has become the major bottleneck for successful deployment. Despite notable progress in gradient compression, the existing quantization methods require further improvement when low-bits compression is applied, especially the overall systems often degenerate a lot when quantization are applied in double directions to compress model weights and gradients. In this work, we propose a simple cosine-based nonlinear quantization and achieve impressive results in compressing round-trip communication costs. We are not only able to compress model weights and gradients at higher ratios than previous methods, but also achieve competing model performance at the same time. Further, our approach is highly suitable for federated learning problems since it has low computational complexity and requires only a little additional data to recover the compressed information. Extensive experiments have been conducted on image classification and brain tumor semantic segmentation using the CIFAR-10, and BraTS datasets where we show state-of-the-art effectiveness and impressive communication efficiency.

연구 동기 및 목표

• 플러드레이티드 학습에서 특히 극단적인 저비트 양자화 상황에서 높은 통신 비용을 해결하기 위해.
• 정보가 많은 크기가 큰 가중치와 기울기를 더 잘 보존함으로써, 저비트 압축 하에서 모델 성능을 향상시키기 위해.
• 자원이 제한된 엣지 디바이스에 적합한 낮은 계산 복잡도의 양자화 기법을 설계하기 위해.
• 기울기 희소화 및 손실 없는 압축과 같은 기존의 통신 감소 기법과의 호환성을 확보하기 위해.
• 추가 학습이 필요 없거나 상당한 계산 오버헤드 없이 최신 기술 수준의 통신 효율성을 달성하기 위해.

제안 방법

• 크기가 큰 값에 대해 더 세밀한 해상도를 가지며, 작은 값에 대해서는 더 넓은 간격을 가지는 비균일한 양자화 간격을 생성하는 코사인 기반 비선형 양자화 함수를 사용한다.
• 양자화는 모델 가중치와 기울기 각각에 독립적으로 적용되어 서버와 클라이언트 간의 완전한 압축-해제 순환 구조를 가능하게 한다.
• 코사인 함수는 최적화 과정에서 더 정보가 많은 극단적 값에서의 양자화 오차를 최소화할 수 있는 능력을 지녀 선택되었다.
• 추가 학습이나 모델 미세조정이 필요 없어 기존의 플러드레이티드 학습 파이프라인에 직접 적용 가능하다.
• 기울기 희소화 및 손실 없는 압축(예: Deflate)과 호환되어 누적된 통신 비용 절감이 가능하다.
• 추가적인 계산 오버헤드가 최소화되어 자원이 제한된 엣지 디바이스에 적합하다.

실험 결과

연구 질문

• RQ1 크기가 큰 값을 우선시하는 비선형 양자화 기법이 플러드레이티드 학습에서 극단적인 저비트 압축 상황에서 모델 성능 향상에 기여할 수 있는가?
• RQ2 정확도와 통신 효율성 측면에서 코사인 기반 양자화는 선형 및 k-means 기반 양자화와 비교해 어떻게 성능을 내는가?
• RQ3 제안된 방법이 기울기 희소화 및 손실 없는 압축과 조합되었을 때도 높은 성능을 유지할 수 있는가?
• RQ4 1비트 및 2비트 수준에서 기존 최신 기술 수준의 양자화 기법보다 더 뛰어난 통신 효율성을 달성할 수 있는가?
• RQ5 자원이 제한된 엣지 디바이스에 실제로 구현 가능한 정도로 계산적으로軽량한가?

주요 결과

• CIFAR-10에서 1비트 양자화로도 CosSGD는 84.2%의 top-1 정확도를 달성했으며, 전체 정밀도 학습(85.2%)과 비교해 1% 미만의 성능 저하만을 보였다.
• 헤다르드 회전과 잔차 저장 기반의 비편향 선형 양자화보다도 유의미한 성능 향상을 보였으며, 특히 1비트 압축 상황에서 두드러졌다.
• BraTS2019 뇌 종양 세분화 작업에서, 동일한 압축 설정 하에서 CosSGD는 k-means 및 선형 양자화보다 더 높은 Dice 스코어를 기록했다.
• 5% 기울기 희소화와 Deflate 압축을 조합한 경우, CosSGD는 총 통신 압축 비율을 1000배 이상으로 줄였으며 경쟁력 있는 모델 성능을 유지했다.
• CosSGD는 유일하게 4비트 정밀도에서 성능 저하 없이 모델 가중치를 효과적으로 압축할 수 있었으며, 동일한 비용 수준에서 다른 대안보다 뛰어난 성능을 보였다.
• 이 방법은 이미지 분류와 3D 의료 영상 세분화 작업 모두에서 일관된 성능을 유지하여 광범위한 적용 가능성을 입증했다.