[논문 리뷰] CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning.

Yang He, Maximilian Zenk외 1명|arXiv (Cornell University)|2020. 12. 15.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 4

한 줄 요약

이 논문은 코사인 기반 양자화를 사용해 확률적 경사하강법을 압축하는 비선형 양자화 방법인 CosSGD를 제안한다. CosSGD는 통신 효율적인 피어드럴러닝을 위해 경사하강법의 전송을 최대 1000배까지 줄이며, MNIST, CIFAR-10 및 BraTS 데이터셋에서 이미지 분류 및 뇌 종양 세그멘테이션 작업에서 모델 수렴성과 정확도를 유지한다.

ABSTRACT

Federated learning facilitates learning across clients without transferring local data on these clients to a central server. Despite the success of the federated learning method, it remains to improve further w.r.t communicating the most critical information to update a model under limited communication conditions, which can benefit this learning scheme into a wide range of application scenarios. In this work, we propose a nonlinear quantization for compressed stochastic gradient descent, which can be easily utilized in federated learning. Based on the proposed quantization, our system significantly reduces the communication cost by up to three orders of magnitude, while maintaining convergence and accuracy of the training process to a large extent. Extensive experiments are conducted on image classification and brain tumor semantic segmentation using the MNIST, CIFAR-10 and BraTS datasets where we show state-of-the-art effectiveness and impressive communication efficiency.

연구 동기 및 목표

• 특히 대역폭 제약이 있는 환경에서 높은 통신 오버헤드 문제를 해결한다.
• 모델 수렴성이나 정확도를 희생시키지 않고 통신 효율성을 향상시킨다.
• 기존 피어드럴러닝 프레임워크와 호환되는 실용적이고 구현 가능한 양자화 기법을 개발한다.
• 제한된 네트워크 자원을 가진 실세계 환경에서 피어드럴러닝의 광범위한 적용을 가능하게 한다.

제안 방법

• 확률적 경사하강법을 압축 표현으로 매핑하기 위해 코사인 변환 기반 비선형 양자화 함수를 제안한다.
• 경사하강법의 방향과 크기를 유지하기 위해 코사인 기반 간격을 사용해 적응적으로 스케일링하는 양자화 전략을 설계한다.
• 피어드럴러닝을 위한 압축된 확률적 경사하강법(SGD) 프레임워크에 양자화 기법을 통합한다.
• 양자화된 경사하강법가 효과적인 파rameter 업데이트에 필요한 충분한 정보를 유지함으로써 모델 수렴성을 확보한다.
• 다양한 데이터셋과 모델 아키텍처를 대상으로 통합된 피어드럴러닝 트레이닝 파이프라인에서 메서드를 종단 간(end-to-end)으로 적용한다.
• 경사하강법 통계 기반 동적 범위 조정을 통한 대칭적 양자화 체계를 사용해 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 비선형 양자화가 모델 성능을 떨어뜨리지 않고 피어드럴러닝에서 통신 비용을 크게 줄일 수 있는가?
• RQ2 수렴 속도와 최종 정확도 측면에서 CosSGD는 선형 양자화 방법보다 어떻게 비교되는가?
• RQ3 다양한 작업에서 모델 일반화 능력을 유지하면서 경사하강법을 얼마나 압축할 수 있는가?
• RQ4 제안된 방법은 다양한 데이터 분포와 모델 아키텍처 간에서 안정성을 유지하는가?

주요 결과

• CosSGD는 정밀도가 높은 기준 학습 대비 통신 비용을 최대 3개 지수(1000배)까지 줄였다.
• MNIST 및 CIFAR-10 이미지 분류 작업에서 CosSGD는 정밀도 기준 기준선 대비 1% 이내의 정확도를 유지했다.
• BraTS 뇌 종양 세그멘테이션 데이터셋에서 CosSGD는 정밀도 기준 기준선과 유사한 세그멘테이션 성능을 달성했다.
• 제안된 양자화 기법은 최소한의 성능 저하로 다수의 피어드럴러닝 라운드 동안 안정적인 수렴을 보였다.
• CosSGD는 기존의 선형 양자화 기반 베이스라인 대비 통신 효율성과 모델 정확도 간의 트레이드오���에서 뛰어난 성능을 보였다.
• 이 방법은 다양한 모델 아키텍처와 데이터 분포에서 효과적이었으며, 광범위한 적용 가능성을 입증했다.