[논문 리뷰] DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning

Robert Hönig, Yiren Zhao외 1명|arXiv (Cornell University)|2021. 10. 31.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 37

한 줄 요약

DAdaQuant는 시간에 따라 동적으로 변하는 양자화 수준과 클라이언트별로 조정되는 양자화 수준을 동시에 적용하여, 모델 정확도를 훼손하지 않으면서 업링크 통신 비용을 최소화하는 이중 적응형 양자화 방법을 제안한다. 시간 적응형 및 클라이언트 적응형 전략을 융합함으로써, 비적응형 기준선 대비 최대 2.8배 놀라운 압축 성능을 달성하면서도 통신-정확도 트레이드오프에서 파레토 효율성을 유지한다.

ABSTRACT

Federated Learning (FL) is a powerful technique for training a model on a server with data from several clients in a privacy-preserving manner. In FL, a server sends the model to every client, who then train the model locally and send it back to the server. The server aggregates the updated models and repeats the process for several rounds. FL incurs significant communication costs, in particular when transmitting the updated local models from the clients back to the server. Recently proposed algorithms quantize the model parameters to efficiently compress FL communication. These algorithms typically have a quantization level that controls the compression factor. We find that dynamic adaptations of the quantization level can boost compression without sacrificing model quality. First, we introduce a time-adaptive quantization algorithm that increases the quantization level as training progresses. Second, we introduce a client-adaptive quantization algorithm that assigns each individual client the optimal quantization level at every round. Finally, we combine both algorithms into DAdaQuant, the doubly-adaptive quantization algorithm. Our experiments show that DAdaQuant consistently improves client$ ightarrow$server compression, outperforming the strongest non-adaptive baselines by up to $2.8 imes$.

연구 동기 및 목표

• 플러딩 러닝에서 통신 비용, 특히 대역폭을 많이 소비하는 클라이언트에서 서버로의 업링크 단계를 줄이기 위해.
• 학습 진행 상황이나 클라이언트의 데이터 분포와 무관하게 고정된 양자화 수준을 사용하는 정적 양자화의 비효율성을 해결하기 위해.
• 학습 동적 특성과 클라이언트별 데이터 크기에 기반해 양자화 수준을 적응적으로 할당하여 통신 비용을 최소화하면서 수렴성을 유지하는 방법을 개발하기 위해.
• 시간적 적응성과 클라이언트 수준의 적응성을 융합하여 플러딩 러닝에서 최신 기술 수준의 압축 성능을 달성하기 위해.

제안 방법

• 학습이 진행됨에 따라 양자화 수준 q가 단조롭게 증가하는 시간 적응형 양자화를 도입하여, 초기 단계에서 낮은 q를 사용해 초기 통신 비용을 줄인다.
• 각 클라이언트의 로컬 데이터셋 크기에 비례해 양자화 수준을 할당하는 클라이언트 적응형 양자화를 제안하여, 영향력이 큰 클라이언트가 더 많은 비트를 사용해 총 양자화 오차를 줄인다.
• 누적된 양자화된 모델 파라미터의 기대 분산, E[Var(Q(p))], 를 오차 측정 지표로 정의하여 클라이언트 수준의 양자화 수준 할당을 안내한다.
• 두 전략을 융합하여 시간과 클라이언트 간 동적으로 양자화 수준을 조정하는 DAdaQuant라는 이중 적응형 프레임워크를 구현한다.
• 기존 플러딩 러닝 파이프라인과 호환되도록 QSGD 양자화 알고리즘을 변형하여, 라운드별로도, 클라이언트별로도 동적으로 변화하는 양자화 수준을 적용한다.
• 통신 감소가 모델 정확도를 떨어뜨리지 않도록 파레토 최적성 기준을 적용한다.

실험 결과

연구 질문

• RQ1 학습 진행에 따라 양자화 수준을 동적으로 조정하면, 모델 수렴에 해를 끼치지 않으면서도 플러딩 러닝의 통신 효율성을 향상시킬 수 있는가?
• RQ2 로컬 데이터 크기에 따라 클라이언트별로 다른 양자화 수준을 할당하면 총 양자화 오차와 통신 비용을 줄일 수 있는가?
• RQ3 시간 적응형과 클라이언트 적응형 양자화를 융합하면 플러딩 러닝에서 통신-정확도 트레이드오프에 어떤 영향을 미치는가?
• RQ4 제안된 이중 적응형 양자화 방법은 기존 기준선 대비 파레토 최적인가?

주요 결과

• DAdaQuant는 다양한 데이터셋에서 가장 강력한 비적응형 기준선인 Federated QSGD 대비 최대 2.8배 높은 압축 성능을 달성한다.
• 시간 적응형 변형인 DAdaQuanttime은 정확도와 비교적 유사한 수준을 유지하면서도 모든 데이터셋에서 Federated QSGD 및 다른 기준선보다 통신 효율성이 뛰어나다.
• 클라이언트 적응형 변형인 DAdaQuantclients는 로컬 데이터 크기의 분산이 높은 데이터셋, 예를 들어 Synthetic(cv = 3.3) 및 Shakespeare(cv = 1.7)에서는 Sent140(cv = 0.3)와 같이 분산이 낮은 데이터셋보다 더 높은 압축률을 기록한다.
• DAdaQuant는 두 적응 전략의 이점을 융합하여 곱의 형태의 압축 성능 향상을 이끌어내며, 개별 변형보다도 통신 절감 효과가 뛰어나다.
• DAdaQuant는 파레토 최적이다: 고정된 통신 비용에서 모든 평가된 데이터셋에서 Federated QSGD보다 더 높은 정확도를 달성한다.
• 이 방법은 강건하고 확장 가능하며, 클라이언트 수에 관계없이 통신 비용이 유지되는데, 이는 AdaQuantFL과 달리 클라이언트 수에 따라 선형적으로 증가하는 것과 대비된다.