[논문 리뷰] Near-Optimal Straggler Mitigation for Distributed Gradient Methods

Songze Li, Seyed Mohammadreza Mousavi Kalan외 2명|arXiv (Cornell University)|2017. 10. 27.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 8

한 줄 요약

이 논문은 배치 쿠폰 수집기(Batched Coupon’s Collector, BCC) 기법을 제안한다. 이는 분산 경사하강법에서 느린 작업자(node)로 인한 스트래글러 효과를 완화하기 위해 설계된 탈중앙화된 분산 계산 방법으로, 마스터가 모든 데이터 배치를 커버하는 부분 기울기를 수확하면 전체 기울기를 재구성할 수 있도록 한다. BCC는 거의 최적에 가까운 복구 및 통신 임계값을 달성하여 EC2 클러스터에서 최대 85.4%의 런타임 감소를 이끌었으며, 최소한의 조율으로 이질적 클러스터에 효과적으로 일반화된다.

ABSTRACT

Modern learning algorithms use gradient descent updates to train inferential models that best explain data. Scaling these approaches to massive data sizes requires proper distributed gradient descent schemes where distributed worker nodes compute partial gradients based on their partial and local data sets, and send the results to a master node where all the computations are aggregated into a full gradient and the learning model is updated. However, a major performance bottleneck that arises is that some of the worker nodes may run slow. These nodes a.k.a. stragglers can significantly slow down computation as the slowest node may dictate the overall computational time. We propose a distributed computing scheme, called Batched Coupon's Collector (BCC) to alleviate the effect of stragglers in gradient methods. We prove that our BCC scheme is robust to a near optimal number of random stragglers. We also empirically demonstrate that our proposed BCC scheme reduces the run-time by up to 85.4% over Amazon EC2 clusters when compared with other straggler mitigation strategies. We also generalize the proposed BCC scheme to minimize the completion time when implementing gradient descent-based algorithms over heterogeneous worker nodes.

연구 동기 및 목표

• 느린 워커 노드로 인해 전체 계산 시간이 저하되는 분산 기울기 하강법에서의 스트래글러 효과를 해결하기 위해.
• 마스터가 기다려야 할 워커 수를 최소화(복구 임계값)하면서도 낮은 통신 부하를 유지하기 위해.
• 전역 조율 없이도 데이터 할당을 위한 탈중앙화되고 확장 가능한 방법을 설계하기 위해.
• 다양한 계산 및 통신 속도를 가진 이질적 워커 클러스터에 대해 이론적 일반화를 수행하기 위해.
• 실세계 클라우드 환경에서 기존 스트래글러 완화 전략에 비해 성능 향상을 실증적으로 검증하기 위해.

제안 방법

• BCC 기법은 훈련 데이터셋을 크기 r인 배치로 분할하고, 각 워커에게 무작위로 부분 집합의 데이터 포인트를 할당하여 부분 기울기를 계산하도록 한다.
• 각 워커는 부분 기울기를 계산하고 마스터에게 전송하며, 마스터는 모든 배치가 커버된 후에 전체 기울기를 재구성할 수 있다.
• 복구 임계값은 이론적으로 $ K_{\text{BCC}}(r) = \lceil \frac{m}{r} \rceil H_{\lceil \frac{m}{r} \rceil} $ 로 경계가 되며, 이는 로그 인자 범위 내에서 거의 최적이다.
• 이질적 클러스터의 경우, 워커 속도에 따라 데이터 로드를 할당하기 위한 최적화 문제를 해결함으로써 일반화된다. 이는 예상 커버리지 시간을 최소화한다.
• 일반화된 BCC는 조율 없이도 무작위 데이터 할당을 사용하여, 워커가 추가되거나 제거될 때 동적으로 확장 가능하다.
• 이 방법은 쿠폰 수집 문제 프레임워크를 활용하여 데이터 배치에 대한 커버리지 과정으로 기울기 복구를 모델링한다.

실험 결과

연구 질문

• RQ1 주어진 계산 부하 $ r $ 하에서 분산 기울기 하강법에서 달성 가능한 최소 복구 임계값 $ K^*(r) $ 는 무엇이며, 실용적 기법은 이에 얼마나 가까이 도달할 수 있는가?
• RQ2 탈중앙화되고 조율이 없는 데이터 할당 전략이 분산 훈련에서 거의 최적의 스트래글러 내성 성능을 달성할 수 있는가?
• RQ3 실제 클라우드 클러스터에서 BCC 기법은 로드 밸런싱 및 기타 스트래글러 완화 전략에 비해 완료 시간 측면에서 어떻게 비교되는가?
• RQ4 워커의 이질성이 기울기 계산 시간에 미치는 영향은 무엇이며, 중앙 집중식 조율 없이 이를 최소화할 수 있는가?
• RQ5 일반화된 BCC 기법은 워커 특성에 기반한 데이터 할당 최적화를 통해 이질적 환경에서 거의 최적의 성능을 달성할 수 있는가?

주요 결과

• BCC 기법은 $ K_{\text{BCC}}(r) = \lceil \frac{m}{r} \rceil H_{\lceil \frac{m}{r} \rceil} $ 의 복구 임계값을 달성하며, 이는 이론적 하한 $ K^*(r) \geq \frac{m}{r} $ 과 로그 인자 범위 내에서 거의 최적이다.
• 아마존 EC2 클러스터에서 BCC는 기준 스트래글러 완화 전략 대비 최대 85.4%의 런타임 감소를 기록했다.
• 100개의 워커를 가진 이질적 클러스터에서 일반화된 BCC 기법은 로드 밸런싱 대비 평균 계산 시간을 29.28% 감소시켰다.
• BCC는 거의 최적의 통신 부하를 달성하며, $ L_{\text{BCC}}(r) \leq \lceil L^*(r) \rceil H_{\lceil \frac{m}{r} \rceil} $ 로 표현되며, 이는 로그 인자 범위 내에서 하한과 일치한다.
• 일반화된 BCC는 마스터나 다른 노드와의 조율 없이도 새로운 워커가 참여할 때 동적으로 탈중앙화된 워크로드 조정을 가능하게 한다.
• 이론적 및 수치적 결과는 이질적 환경에서의 무작위 데이터 할당 전략이 완료 시간 최소화 측면에서 로드 밸런싱 전략보다 뛰어나다는 것을 확인한다.