[논문 리뷰] FedAT: A Communication-Efficient Federated Learning Method with Asynchronous Tiers under Non-IID Data.

Zheng Chai, Yujing Chen외 3명|arXiv (Cornell University)|2020. 10. 12.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 68

한 줄 요약

FedAT는 비독립 동일 분포(non-IID) 데이터 하에서 스트래글러 효과를 완화하고 통신 병목 현상을 줄이기 위해 동기적 내티어 및 异기적 크로스티어 학습을 결합한 통신 효율적인 플러딩 학습 방법이다. 스트래글러 인식 가중 평균 및 폴리라인 인코딩 기반 압축을 통해 FedAT는 최신 기술 대비 모델 정확도를 최대 21.09% 향상시키고 통신 비용을 최대 8.5배 감소시킨다.

ABSTRACT

Federated learning (FL) involves training a model over massive distributed devices, while keeping the training data localized. This form of collaborative learning exposes new tradeoffs among model convergence speed, model accuracy, balance across clients, and communication cost, with new challenges including: (1) straggler problem, where the clients lag due to data or (computing and network) resource heterogeneity, and (2) communication bottleneck, where a large number of clients communicate their local updates to a central server and bottleneck the server. Many existing FL methods focus on optimizing along only one dimension of the tradeoff space. Existing solutions use asynchronous model updating or tiering-based synchronous mechanisms to tackle the straggler problem. However, the asynchronous methods can easily create a network communication bottleneck, while tiering may introduce biases as tiering favors faster tiers with shorter response latencies. To address these issues, we present FedAT, a novel Federated learning method with Asynchronous Tiers under Non-i.i.d. data. FedAT synergistically combines synchronous intra-tier training and asynchronous cross-tier training. By bridging the synchronous and asynchronous training through tiering, FedAT minimizes the straggler effect with improved convergence speed and test accuracy. FedAT uses a straggler-aware, weighted aggregation heuristic to steer and balance the training for further accuracy improvement. FedAT compresses the uplink and downlink communications using an efficient, polyline-encoding-based compression algorithm, therefore minimizing the communication cost. Results show that FedAT improves the prediction performance by up to 21.09%, and reduces the communication cost by up to 8.5x, compared to state-of-the-art FL methods.

연구 동기 및 목표

• 클라이언트 수준의 자원 및 데이터 이질성으로 인한 플러딩 학습의 스트래글러 문제를 해결한다.
• 대규모 플러딩 학습 시스템에서 빈번한 업링크 및 다운링크 전송으로 인한 통신 병목 현상을 줄인다.
• 비독립 동일 분포 데이터 분포 하에서 이질적인 클라이언트 간의 모델 수렴 및 정확도를 균형 잡는다.
• 효율적인 압축 기법을 통해 모델 성능을 희생시키지 않고 통신 비용을 최소화한다.
• 동기적 내티어 및 이방형 크로스티어 업데이트를 유기적으로 조화시키는 하이브리드 학습 전략을 개발한다.

제안 방법

• FedAT는 클라이언트의 학습 속도 및 자원 가용성에 따라 티어로 분류하여 스트래글러 효과를 관리한다.
• 각 티어 내부에서 동기적 학습을 적용하여 일관된 모델 업데이트를 보장하고 분산을 줄인다.
• 이방형 크로스티어 학습을 통해 빠른 티어가 독립적으로 진행되어 대기 시간을 줄이고 수렴 속도를 향상시킨다.
• 스트래글러 인식 가중 평균 히우리스틱은 클라이언트의 신뢰성 및 성능에 따라 기여도를 동적으로 조정하여 모델 업데이트의 균형을 맞춘다.
• 업링크 및 다운링크 통신에 폴리라인 인코딩 기반 압축을 적용하여 대역폭 사용을 최소화하고 통신 비용을 감소시킨다.
• 티어 아키텍처를 적응형 평균화 및 압축과 통합하여 정확도를 유지하면서도 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비독립 동일 분포 데이터 하에서 클라이언트 이질성으로 인한 스트래글러 문제를 플러딩 학습 시스템이 효과적으로 완화할 수 있는가?
• RQ2 이방형 크로스티어 학습은 모델 정확도를 떨어뜨리지 않고 수렴 속도를 얼마나 향상시킬 수 있는가?
• RQ3 순수하게 동기적 또는 이방형 방법과 비교해 볼 때, 동기적 내티어 및 이방형 크로스티어 학습 전략을 융합한 하이브리드 전략이 통신 병목 현상을 얼마나 줄일 수 있는가?
• RQ4 스트래글러 인식 가중 평균 메커니즘은 클라이언트 기여도를 균형 잡고 모델 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ5 대규모 플러딩 학습에서 폴리라인 인코딩 기반 압축은 통신 비용과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• FedAT는 비독립 동일 분포 데이터 하에서 최신 기술 대비 예측 성능을 최대 21.09% 향상시킨다.
• 업링크 및 다운링크 업데이트의 효율적 폴리라인 인코딩 기반 압축을 통해 통신 비용을 최대 8.5배 감소시킨다.
• 동기적 내티어 및 이방형 크로스티어 학습의 하이브리드 전략은 스트래글러 효과를 크게 줄이고 수렴 속도를 가속화한다.
• 스트래글러 인식 가중 평균 메커니즘은 클라이언트 신뢰성에 따라 기여도를 동적으로 조정함으로써 모델 정확도를 향상시킨다.
• FedAT는 통신 오버헤드를 최소화하면서도 높은 모델 정확도를 유지하여 이질적 클라이언트 환경에서 강력한 확장성을 보여준다.
• 티어링, 적응형 평균화, 압축의 조합은 수렴 속도, 정확도, 통신 효율성 간의 균형 잡힌 트레이드오프를 이룬다.