[논문 리뷰] Addressing Client Drift in Federated Continual Learning with Adaptive Optimization

Yeshwanth Venkatesha, Youngeun Kim외 3명|arXiv (Cornell University)|2022. 03. 24.

Wireless Networks and Protocols인용 수 5

한 줄 요약

이 논문은 클라이언트가 다른 순서로 작업을 학습하는 경우 모델의 분리가 발생하는 연속적 분산 학습(Federated Continual Learning, FCL)에서 클라이언트 드리프트를 완화하기 위해 적응형 페더레이티드 최적화(FedOpt)를 제안한다. NetTailor를 사용한 연속적 학습과 FedAdam을 사용한 적응형 최적화를 통해 CIFAR100에서 10개의 작업과 5개의 클라이언트를 사용할 때 클라이언트 드리프트를 4.92% 감소시키고 평균 정확도를 2.45% 향상시켰다.

ABSTRACT

Federated learning has been extensively studied and is the prevalent method for privacy-preserving distributed learning in edge devices. Correspondingly, continual learning is an emerging field targeted towards learning multiple tasks sequentially. However, there is little attention towards additional challenges emerging when federated aggregation is performed in a continual learning system. We identify extit{client drift} as one of the key weaknesses that arise when vanilla federated averaging is applied in such a system, especially since each client can independently have different order of tasks. We outline a framework for performing Federated Continual Learning (FCL) by using NetTailor as a candidate continual learning approach and show the extent of the problem of client drift. We show that adaptive federated optimization can reduce the adverse impact of client drift and showcase its effectiveness on CIFAR100, MiniImagenet, and Decathlon benchmarks. Further, we provide an empirical analysis highlighting the interplay between different hyperparameters such as client and server learning rates, the number of local training iterations, and communication rounds. Finally, we evaluate our framework on useful characteristics of federated learning systems such as scalability, robustness to the skewness in clients' data distribution, and stragglers.

연구 동기 및 목표

• 클라이언트가 이질적인 작업 순서를 가질 때 발생하는 연속적 분산 학습(FCL)에서 클라이언트 드리프트를 핵심 과제로 규명하는 것.
• 클라이언트가 다양한 작업 순서로 학습하는 FCL 시스템에서 클라이언트 드리프트의 정도를 NetTailor 기반 연속적 학습 프레임워크를 통해 평가하는 것.
• 적응형 페더레이티드 최적화(FedAdam 등)가 클라이언트 드리프트 감소와 모델 안정성 향상에 얼마나 효과적인지 조사하는 것.
• 클라이언트 및 서버 학습률, 로컬 에포크 수, 통신 라운드 수 등의 핵심 하이퍼파라미터가 시스템 성능에 미치는 영향을 분석하는 것.
• 비독립 동일 분포(NIID) 데이터, 느린 클라이언트, 클라이언트 수 증가에 따른 확장성과 같은 실제 환경 도전 과제에 대한 시스템의 강건성 평가

제안 방법

• 재난기억 방지를 격리하고 클라이언트 드리프트 영향을 분리하기 위해 작업별 모듈을 갖춘 동적 아키텍처 방법인 NetTailor를 사용한다.
• 다양한 작업 순서를 가진 클라이언트 간의 모델 업데이트를 안정화하기 위해 FedAdam(적응형 페더레이티드 최적화)을 적용한다.
• 클라이언트 및 서버 수준에서 적응형 학습률을 사용하여 연합 평균화를 통해 모델 방향의 분리 감소를 도모한다.
• 로컬 기울기 통계에 기반해 조정되는 클라이언트 수준의 학습률 스케줄을 도입하여 수렴 안정성 향상.
• 통신 라운드, 로컬 에포크 수, 학습률 설정을 기반으로 아블레이션 스터디를 수행하여 트레이드오��� 분석.
• 비독립 동일 분포(NIID) 데이터(디리클레 분포를 통해), 느린 클라이언트 행동, 클라이언트 수 증가에 따른 확장성 평가 수행.

실험 결과

연구 질문

• RQ1 클라이언트가 다른 순서로 작업을 학습할 때 연속적 분산 학습(FCL)에서 클라이언트 드리프트가 어떻게 발생하는가?
• RQ2 표준 FedAvg에 비해 적응형 페더레이티드 최적화(FedAdam 등)는 클라이언트 드리프트를 얼마나 줄일 수 있는가?
• RQ3 클라이언트 학습률, 서버 학습률, 로컬 에포크 수, 통신 라운드 수 등의 하이퍼파라미터가 모델 성능과 드리프트에 어떤 영향을 미치는가?
• RQ4 대규모 FCL 시스템에서 비독립 동일 분포(NIID) 데이터 분포와 느린 클라이언트에 대해 제안된 프레임워크의 강건성은 어떠한가?
• RQ5 클라이언트 수가 증가함에 따라 프레임워크의 확장성 한계는 무엇인가?

주요 결과

• FedAdam을 사용한 적응형 페더레이티드 최적화로 CIFAR100에서 10개의 작업과 5개의 클라이언트를 사용할 때 클라이언트 드리프트가 FedAvg 대비 4.92% 감소하고 평균 정확도가 2.45% 향상되었다.
• 통신 라운드 수가 증가할수록 누적된 모델 분리로 인해 클라이언트 드리프트가 증가하고 최종 정확도가 감소한다.
• 낮은 서버 학습률은 모델 안정성 향상과 클라이언트 드리프트 감소에 기여하지만, 지나치게 낮은 값은 수렴 속도 저하와 최종 정확도 감소를 초래한다.
• 높은 클라이언트 학습률(최대 0.05까지)은 성능 향상에 기여하지만, 0.10 수준의 값은 학습 불안정성과 성능 저하를 유발한다.
• 느린 클라이언트에 대해서도 성능 저하가 2% 미만으로 유지되어 프레임워크의 강건성이 확보된다.
• 비독립 동일 분포(NIID) 데이터 분포에서 비율이 높을수록(낮은 디리클레 알파 값) 클라이언트 드리프트가 악화되고 정확도 및 후방 전이($BWT_f$)가 감소한다.