[논문 리뷰] Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity

Amirhossein Reisizadeh, Isidoros Tziotis외 3명|arXiv (Cornell University)|2020. 12. 28.

Privacy-Preserving Technologies in Data인용 수 15

한 줄 요약

이 논문은 통계적 정확도에 도달한 후 점진적으로 느린 클라이언트를 포함하는 방식으로 스트래글러(clients)에 강건한 분산 학습 방법인 FLANP를 제안한다. 이는 이전 단계의 결과를 웜스타트 초기화로 활용함으로써, 특히 시스템 이질성과 대규모 데이터 분포가 높은 환경에서 FedAvg 대비 벽시계 시간을 최대 74% 감소시킨다.

ABSTRACT

Federated Learning is a novel paradigm that involves learning from data samples distributed across a large network of clients while the data remains local. It is, however, known that federated learning is prone to multiple system challenges including system heterogeneity where clients have different computation and communication capabilities. Such heterogeneity in clients' computation speeds has a negative effect on the scalability of federated learning algorithms and causes significant slow-down in their runtime due to the existence of stragglers. In this paper, we propose a novel straggler-resilient federated learning method that incorporates statistical characteristics of the clients' data to adaptively select the clients in order to speed up the learning procedure. The key idea of our algorithm is to start the training procedure with faster nodes and gradually involve the slower nodes in the model training once the statistical accuracy of the data corresponding to the current participating nodes is reached. The proposed approach reduces the overall runtime required to achieve the statistical accuracy of data of all nodes, as the solution for each stage is close to the solution of the subsequent stage with more samples and can be used as a warm-start. Our theoretical results characterize the speedup gain in comparison to standard federated benchmarks for strongly convex objectives, and our numerical experiments also demonstrate significant speedups in wall-clock time of our straggler-resilient method compared to federated learning benchmarks.

연구 동기 및 목표

• 계산 속도가 느린 스트래글러 클라이언트로 인한 분산 학습의 확장성 저하 문제를 해결한다.
• 계산 속도가 크게 다름에도 불구하고 고도로 이질적인 클라이언트 환경에서의 벽시계 학습 시간을 단축시킨다.
• 증가하는 데이터 샘플 수에 따른 ERM 해의 통계적 유사성을 활용하여, 단계 간 웜스타트 초기화를 가능하게 한다.
• 초기에는 빠른 클라이언트를 우선으로 하고, 유익한 경우에만 점진적으로 느린 클라이언트를 추가하는 동적 클라이언트 참여 전략을 설계한다.
• 부분 참여나 알려지지 않은 시스템 파rameter가 존재하는 환경에서도 정확도를 희생시키지 않고 상당한 속도 향상을 달성할 수 있음을 입증한다.

제안 방법

• 서버가 가장 빠른 참가자들만 기다리므로, 라운드 트립 지연을 최소화하기 위해 가장 빠른 클라이언트들로만 분산 학습을 시작한다.
• 현재 모델이 통계적 정확도에 도달하면 기하급수적 단계(예: 각 단계에서 노드 수를 두 배로 증가)로 참여 클라이언트 수를 점진적으로 늘린다.
• 이전 단계의 해를 다음 단계의 웜스타트로 활용함으로써, 더 작은 데이터셋에 대한 최적 해가 동일 분포에서 유래된 더 큰 데이터셋의 해와 유사하다는 사실을 활용한다.
• 고정된 반복 횟수 대신 수렴 기준(예: 기울기 노름 또는 부분 최적화 오차)을 통해 통계적 정확도 도달 여부를 모니터링하여 단계 전환을 결정한다.
• 진짜 시스템 상수(예: μ, c, Vns)가 알려지지 않은 경우, 임계값 파rameter를 위한 히우리스틱 튜닝 메커니즘을 도입하여 실용적 구현을 가능하게 한다.
• i.i.d. 및 지수 분포된 계산 속도 분포 조건에서 FedAvg, FedGATE, FedNova 기준과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 계산 속도와 통계적 정확도에 기반한 적응적 클라이언트 참여 전략이 분산 학습의 벽시계 시간을 줄일 수 있는가?
• RQ2 이전 단계의 웜스타트 전략이 수렴 속도와 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ3 강凸 목적 함수 하에서 기존 기준인 FedAvg에 비해 제안된 방법의 이론적 속도 향상은 어느 정도인가?
• RQ4 부분 노드 참여 또는 빠른 노드만 선택하는 조건에서 이 방법은 어떻게 성능을 내는가?
• RQ5 히우리스틱 파ram터 튜닝이 실무에서 이론적으로 최적의 FLANP 알고리즘 성능을 어느 정도 근접하는가?

주요 결과

• MNIST에서 50개의 클라이언트와 노드당 20개 샘플을 사용할 경우, FLANP는 FedAvg 대비 최대 74%의 벽시계 시간 감소를 기록했으며, 속도 향상 비율은 0.74였다.
• 노드당 200개 샘플일 경우, FLANP는 FedGATE 대비 57% 감소(비율 0.43)했고, 2000개 샘플일 경우 비율은 0.35로 감소하여 데이터 스케일이 커질수록 성능 향상이 더 두드러졌다.
• 클라이언트 수가 10에서 1000으로 증가함에 따라, FLANP와 FedGATE의 벽시계 시간 비율은 0.73에서 0.26으로 감소하여 이질성이 클수록 속도 향상이 더 커짐을 보였다.
• 부분 참여 조건에서도 빠른 k개의 노드만 사용할 경우, FLANP는 무작위 또는 빠른 노드 선택 방식의 FedGATE보다 속도와 정확도 측면에서 뛰어난 성능을 보였다.
• 기울기 노름 모니터링을 기반으로 한 단계 전환 임계값의 히우리스틱 튜닝이 이론적으로 최적의 FLANP 성능에 매우 가까운 성능을 달성하여 실용 가능성은 확인되었다.
• 이론적 분석은 강凸 목적 함수 하에서 표준 기준 대비 O(log(Ns))의 속도 향상이 가능하다고 확인하였으며, 다양한 데이터셋과 시스템 구성에서 경험적으로도 검증되었다.