[논문 리뷰] Straggler-Resilient Distributed Machine Learning with Dynamic Backup Workers

Guojun Xiong, Gang Yan외 2명|arXiv (Cornell University)|2021. 02. 11.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 10

한 줄 요약

이 논문은 일관성 기반 분산 머신러닝에서 스트래글러 효과를 완화하기 위해 가장 빠른 이웃 노드만 적응적으로 선택하는 동적 백업 워커(DyBW) 전략을 제안한다. cb-DyBW 알고리즘은 수렴에 대해 선형 속도 향상을 달성하고, 전체 참여 방법 대비 반복 시간을 65–70% 감소시켜 훈련 시간을 크게 단축시키지만, MNIST 및 CIFAR-10 데이터셋에서 수렴 정확도를 손상시키지 않는다.

ABSTRACT

With the increasing demand for large-scale training of machine learning models, consensus-based distributed optimization methods have recently been advocated as alternatives to the popular parameter server framework. In this paradigm, each worker maintains a local estimate of the optimal parameter vector, and iteratively updates it by waiting and averaging all estimates obtained from its neighbors, and then corrects it on the basis of its local dataset. However, the synchronization phase can be time consuming due to the need to wait for extit{stragglers}, i.e., slower workers. An efficient way to mitigate this effect is to let each worker wait only for updates from the fastest neighbors before updating its local parameter. The remaining neighbors are called extit{backup workers.} To minimize the globally training time over the network, we propose a fully distributed algorithm to dynamically determine the number of backup workers for each worker. We show that our algorithm achieves a linear speedup for convergence (i.e., convergence performance increases linearly with respect to the number of workers). We conduct extensive experiments on MNIST and CIFAR-10 to verify our theoretical results.

연구 동기 및 목표

• 분산 머신러닝에서 느린 워커로 인해 노드 간 동기화가 지연되는 스트래글러로 인한 성능 저하 문제를 해결하기 위해.
• 수렴 반복 횟수를 늘리지 않고도 일관성 기반 분산 최적화에서 반복 시간을 단축하기 위해.
• 실시간 워커 성능에 적응하는 완전히 분산된 백업 워커 선택 메커니즘을 개발하기 위해.
• 동적 백업 선택이 선형 수렴 속도 향상을 가능하게 하고 통신 오버헤드를 최소화함을 이론적·실증적으로 검증하기 위해.

제안 방법

• 각 워커가 로컬 파라미터를 업데이트하기 전에 가장 빠른 p_j개의 이웃만 기다리는 동적 백업 워커(DyBW)를 포함한 일관성 기반 분산 최적화 문제를 수립한다.
• 실시간 통신 지연을 기반으로 각 노드당 백업 워커 수를 동적으로 조정하는 완전히 분산된 방법인 cb-DyBW 알고리즘을 제안한다.
• 관측된 업데이트 시간을 바탕으로 훈련 중 최적의 백업 워커 수를 결정하는 임계값 기반 업데이트 규칙(알고리즘 2)을 도입한다.
• 간선이 이웃 간 의존성을 나타내는 시간에 따라 변화하는 일관성 그래프를 사용하고, 학습 안정화를 위해 적응형 학습률 η(k) = η₀·δᵏ를 적용한다.
• NFS 및 MPI 백엔드를 사용하여 텐서플로우에 구현하여 분산 환경에서 파일 공유 및 워커 간 통신을 가능하게 한다.
• 효율적 훈련을 위해 입력 차원을 감소시키기 위해 주성분 분석(PCA)을 적용하고 배치 크기를 1,024로 설정한다.

실험 결과

연구 질문

• RQ1 동적으로 백업 워커를 선택함으로써 수렴 반복 횟수를 늘리지 않고도 분산 머신러닝에서 반복 시간을 크게 줄일 수 있는가?
• RQ2 제안된 동적 백업 전략은 전체 참여 일관성 방법 대비 수렴 속도 향상에 대해 선형 속도 향상을 달성하는가?
• RQ3 백업 워커 수는 시간이 지남에 따라 어떻게 변화하는가? 실시간 워커 성능에 기반해 적응적으로 제어될 수 있는가?
• RQ4 동적 백업 선택은 실세계 데이터셋인 MNIST 및 CIFAR-10에 대해 수렴 정확도와 월클록 훈련 시간에 어떤 영향을 미치는가?

주요 결과

• cb-DyBW 알고리즘은 O(1/√(NK) + 1/K)의 수렴 속도를 달성하여 충분히 큰 K에 대해 선형 속도 향상을 보이며, 전체 참여 방법과 동일한 속도를 확보한다.
• cb-Full(전체 참여) 대비 평균 반복 시간을 65–70% 감소시켜 총 훈련 시간을 크게 단축시킨다.
• cb-DyBW와 cb-Full 간의 수렴까지의 반복 횟수는 순서 수준에서 유사하므로, 동적 백업 선택이 수렴 품질에 악영향을 주지 않음을 확인한다.
• 동적 백업 워커 수는 시간이 지남에 따라 변화하며, 이는 제안된 임계값 기반 규칙이 실시간 워커 성능에 적응 가능함을 검증한다.
• MNIST 및 CIFAR-10에서의 실증 결과에 따르면, cb-DyBW는 cb-Full과 유사한 테스트 오차와 훈련 손실을 달성하면서도 월클록 시간을 극적으로 감소시킨다.
• 비독립 동일분포(non-i.i.d.) 데이터 분포를 가진 워커들 사이에서도 프레임워크는 일관성과 수렴성을 유지하여 실제 환경에서의 강건성을 입증한다.