[논문 리뷰] Communication-Efficient Federated Learning with Compensated Overlap-FedAvg

Yuhao Zhou, Qing Ye외 1명|arXiv (Cornell University)|2020. 12. 12.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 5

한 줄 요약

이 논문은 통신 효율적인 플랫폼 기반 연합 학습 프레임워크인 Overlap-FedAvg를 제안한다. 이는 지역 모델 학습을 글로벌 모델 통신과 겹쳐서 수행함으로써 유휴 대기 시간을 제거한다. 계층적 계산 전략, 데이터 보완 메커니즘, 그리고 네스터로-가속 기울기(Nesterov-accelerated gradients)를 도입함으로써, 통신 오버헤드를 줄이고 수렴 속도를 높이며, 저대역폭 조건에서도 모델 정확도를 유지한다.

ABSTRACT

Petabytes of data are generated each day by emerging Internet of Things (IoT), but only few of them can be finally collected and used for Machine Learning (ML) purposes due to the apprehension of data & privacy leakage, which seriously retarding ML's growth. To alleviate this problem, Federated learning is proposed to perform model training by multiple clients' combined data without the dataset sharing within the cluster. Nevertheless, federated learning introduces massive communication overhead as the synchronized data in each epoch is of the same size as the model, and thereby leading to a low communication efficiency. Consequently, variant methods mainly focusing on the communication rounds reduction and data compression are proposed to reduce the communication overhead of federated learning. In this paper, we propose Overlap-FedAvg, a framework that parallels the model training phase with model uploading & downloading phase, so that the latter phase can be totally covered by the former phase. Compared to vanilla FedAvg, Overlap-FedAvg is further developed with a hierarchical computing strategy, a data compensation mechanism and a nesterov accelerated gradients~(NAG) algorithm. Besides, Overlap-FedAvg is orthogonal to many other compression methods so that they can be applied together to maximize the utilization of the cluster. Furthermore, the theoretical analysis is provided to prove the convergence of the proposed Overlap-FedAvg framework. Extensive experiments on both conventional and recurrent tasks with multiple models and datasets also demonstrate that the proposed Overlap-FedAvg framework substantially boosts the federated learning process.

연구 동기 및 목표

• 클라이언트와 서버 간의 빈번한 모델 가중치 전송으로 인해 발생하는 연합 학습의 높은 통신 오버헤드를 해결하기 위해.
• 모델 업로드/다운로드 단계 동안 유휴 대기 시간을 제거하기 위해 지역 학습을 통신 단계와 겹쳐 수행하기 위해.
• 학습과 통신을 겹쳐도 수렴 속도와 모델 정확도를 유지하기 위해.
• 중앙 서버가 클라이언트의 학습률을 알 필요가 없는 프라이버시 보존 메커니즘을 설계하기 위해.
• 추가적인 통신 효율성을 위해 기존 압축 기법과의 호환성을 보장하기 위해.

제안 방법

• Overlap-FedAvg는 클라이언트가 모델 업로드/다운로드 중에도 계속 학습할 수 있도록 하여 학습 및 통신 단계를 분리함으로써 계산과 통신을 겹치게 한다.
• 비동기 클라이언트 업데이트를 관리하고 모델 파라미터의 오래됨(staleness)을 줄이기 위해 계층적 계산 전략을 활용한다.
• overlapping으로 인해 발생하는 오래된 기울기(gradient)를 보완하기 위해 스케일된 기울기와 하이퍼파라미터 λ로 제어되는 헤시안 근사(Hessian approximation)를 사용하는 데이터 보완 메커니즘을 도입한다.
• 수렴 속도와 모델 성능을 향상시키기 위해 네스터로-가속 기울기(Nesterov-accelerated gradients, NAG)를 통합한다.
• 보정을 위해 중앙 서버는 고정된 학습률(예: 1.0)을 사용하며, 이는 실제 클라이언트의 학습률이 알려지지 않기 때문에 기밀성을 보장한다.
• 이론적 분석을 통해 온건한 가정 하에 수렴성을 입증하였으며, 기존 압축 기법과 수직적(orthogonal)이므로 함께 사용이 가능하다.

실험 결과

연구 질문

• RQ1 연합 학습에서 학습과 통신 단계를 겹쳐 수행함으로써 유휴 시간을 크게 줄이고 통신 효율성을 향상시킬 수 있는가?
• RQ2 학습과 통신을 겹쳐 발생하는 모델 오래됨을 보완하기 위해 클라이언트 고유의 하이퍼파라미터(학습률 등)를 泄露하지 않고 효과적으로 보완할 수 있는가?
• RQ3 제안된 프레임워크는 기존의 Vanilla FedAvg와 비교해 수렴 속도와 최종 모델 정확도를 유지하는가?
• RQ4 보완 메커니즘은 기밀성을 보존할 수 있도록 설계될 수 있는가? 특히 중앙 서버가 클라이언트의 학습률을 모를 경우에도 말이다?
• RQ5 Overlap-FedAvg는 다른 통신 압축 기법과 얼마나 잘 통합될 수 있는가?

주요 결과

• Overlap-FedAvg는 학습과 통신을 겹쳐서 통신 오버헤드를 줄이고, 지속적인 지역 계산을 가능하게 하며 유휴 시간을 최소화한다.
• 데이터 보완 메커니즘이 오래된 기울기의 악영향을 효과적으로 완화하여 수렴 속도와 최종 모델 정확도를 유지한다.
• 네스터로-가속 기울기를 통한 Overlap-FedAvg는 더 적은 학습 반복 횟수와 더 짧은 월클록 시간 내에 FedAvg보다 높은 정확도를 달성한다.
• 이 심화된 프레임워크는 저대역폭 조건에서도 이미지 분류 및 NLP 작업 전반에서 FedAvg와 거의 동일한 최종 정확도를 유지한다.
• 이론적 분석을 통해 표준 가정 하에 Overlap-FedAvg의 수렴성을 확인하였으며, 이는 신뢰성을 뒷받침한다.
• 이 방법은 기존 압축 기법과 수직적이므로, 함께 사용할 경우 추가적인 통신 감소 효과를 얻을 수 있다.