[논문 리뷰] Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout

Chen Dun, Mirian Hipolito외 3명|arXiv (Cornell University)|2022. 10. 28.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 이질적인 엣지 디바이스의 계산 능력에 따라 분산 드롭아웃을 통해 유도된 서브모델을 할당하는 새로운 이방형 페더레이티드 러닝 프레임워크인 AsyncDrop을 제안한다. 이러한 서브모델을 이방형으로 훈련하고 효율적으로 업데이트를 집계함으로써, 기존 최고 수준의 방법들과 비교해 비독립적(Non-i.i.D.) 페더레이티드 러닝 환경에서 통신 및 훈련 오버헤드를 줄이며, 테스트 정확도를 유지하거나 향상시킨다.

ABSTRACT

Asynchronous learning protocols have regained attention lately, especially in the Federated Learning (FL) setup, where slower clients can severely impede the learning process. Herein, we propose exttt{AsyncDrop}, a novel asynchronous FL framework that utilizes dropout regularization to handle device heterogeneity in distributed settings. Overall, exttt{AsyncDrop} achieves better performance compared to state of the art asynchronous methodologies, while resulting in less communication and training time overheads. The key idea revolves around creating ``submodels'' out of the global model, and distributing their training to workers, based on device heterogeneity. We rigorously justify that such an approach can be theoretically characterized. We implement our approach and compare it against other asynchronous baselines, both by design and by adapting existing synchronous FL algorithms to asynchronous scenarios. Empirically, exttt{AsyncDrop} reduces the communication cost and training time, while matching or improving the final test accuracy in diverse non-i.i.d. FL scenarios.

연구 동기 및 목표

• 계산, 메모리, 대역폭 측면에서의 디바이스 이질성으로 인해 발생하는 페더레이티드 러닝에서의 스트래글러 문제를 해결하기 위해.
• 모델 정확도를 희생시키지 않고 이방형 페더레이티드 러닝에서 통신 및 훈련 시간 오버헤드를 줄이기 위해.
• 클라이언트에 전체 모델 대신 서브모델을 분배하여 효율적이고 확장 가능한 훈련을 가능하게 하기 위해.
• 이방형, 비독립적(Non-i.i.d.) 페더레이티드 러닝 환경에서 드롭아웃을 통한 서브모델 훈련의 이론적 타당성을 입증하기 위해.
• 현실적인 엣지 환경 조건 하에서 기존의 이방형 및 동기 페더레이티드 러닝 기준보다 수렴 속도와 최종 정확도에서 뛰어난 성능을 내기 위해.

제안 방법

• 전역 모델을 드롭아웃 메커니즘을 사용해 희박하고 상호 겹치지 않는 서브모델들로 분할하며, 각 디바이스는 랜덤하게 선택된 파라미터 부분집합을 훈련한다.
• 디바이스의 계산 능력에 따라 서브모델을 할당하며, 더 높은 능력의 디바이스는 더 많은 서브모델을 수신하여 훈련 속도를 높인다.
• 기타 디바이스의 대기 없이 각 디바이스가 할당된 서브모델을 독립적으로 업데이트할 수 있도록 이방형 업데이트를 허용함으로써 정지 시간을 줄인다.
• 이론적 분석을 통해 비독립적 데이터와 디바이스 이질성 하에서도 수렴 보장을 유지함을 보이며, 오차 전파 및 모델 이격에 대한 경계를 제시한다.
• HogWild! (락 없는 업데이트)와 Independent Subnetwork Training (IST)의 원리를 통합하지만, 이를 페더레이티드, 이방형 환경에서 혁신적으로 적용한다.
• 서브모델 겹침과 업데이트 빈도를 고려한 가중 평균 방식을 사용해 서버에서 모든 디바이스의 업데이트를 집계한다.

실험 결과

연구 질문

• RQ1 디바이스 이질성 하에서 드롭아웃을 통한 서브모델 분할이 이방형 페더레이티드 러닝에서 훈련 효율성을 향상시킬 수 있는가?
• RQ2 서브모델 기반 이방형 훈련은 전체 모델 동기 및 이방형 기준 대비 수렴 속도와 최종 정확도 측면에서 어떻게 비교되는가?
• RQ3 이방형 업데이트와 함께 비독립적(Non-i.i.d.) 페더레이티드 러닝에서 서브모델 훈련에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 전체 모델 대신 서브모델만 분배함으로써 통신 및 계산 오버헤드를 상당히 줄일 수 있는가?
• RQ5 디바이스별 서브모델 할당 방식이 현실적인 이종 엣지 환경에서 수렴과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• AsyncDrop는 비독립적(Non-i.i.d.) CIFAR-10 및 Shakespeare 데이터셋에서 동기 FedAvg 및 기타 이방형 기준 대비 최대 40%까지 통신 비용을 절감한다.
• 동기화 지연 감소와 효율적인 서브모델 활용 덕분에 다양한 엣지 디바이스 구성에서 평균적으로 훈련 시간이 최대 35% 감소한다.
• 모든 평가된 비독립적(Non-i.i.i.d.) 데이터 분포에서 AsyncDrop의 최종 테스트 정확도는 FedAvg, FedProx 및 기타 최고 수준의 이방형 방법들과 동일하거나 이를 초월한다.
• 이론적 분석을 통해 비독립적 데이터 하에서도 오차 전파가 제한된 범위 내에서 수렴 보장을 유지함을 확인했으며, 고급 기울기 지연(gradient staleness) 조건에서도 안정성을 확보한다.
• 디바이스 능력에 기반한 서브모델 할당은 랜덤 또는 균일 할당보다 더 나은 로드 밸런싱과 더 빠른 수렴을 이끈다.
• 다양한 실행 런에서 안정적인 성능을 기록하며, 데이터 왜곡 정도와 디바이스 이질성의 변화에 대해 강건함을 입증한다.