[논문 리뷰] ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding

Hongyi Wang, Zachary Charles외 1명|arXiv (Cornell University)|2019. 01. 28.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 43

한 줄 요약

ErasureHead는 approximate gradient codes를 도입하여 지연자(stragglers)를 허용하고 정확한 기울기 정확도를 속도와 교환함으로써 더 빠른 분산 경사 하강을 가능하게 하며, PL 조건에서 수렴 보장을 제공한다. 실험에서 vanilla 및 exact gradient coding에 비해 현저한 속도 향상을 달성한다.

ABSTRACT

We present ErasureHead, a new approach for distributed gradient descent (GD) that mitigates system delays by employing approximate gradient coding. Gradient coded distributed GD uses redundancy to exactly recover the gradient at each iteration from a subset of compute nodes. ErasureHead instead uses approximate gradient codes to recover an inexact gradient at each iteration, but with higher delay tolerance. Unlike prior work on gradient coding, we provide a performance analysis that combines both delay and convergence guarantees. We establish that down to a small noise floor, ErasureHead converges as quickly as distributed GD and has faster overall runtime under a probabilistic delay model. We conduct extensive experiments on real world datasets and distributed clusters and demonstrate that our method can lead to significant speedups over both standard and gradient coded GD.

연구 동기 및 목표

• 대규모 ML 학습을 위한 분산 경사 하강에서 지연자 지연 문제를 동기화하고 대응합니다.
• 에러를 허용하기 위해 근사 기울기 코드(AGCs)를 사용하는 실용적 엔드-투-엔드 학습 방법을 제안합니다.
• Polyak-Łojasiewicz (PL) 조건 하의 이론적 수렴 보장을 제공합니다.
• 확률적 지연자 모델에서 엔드-투-엔드 런타임을 분석하고 vanilla 및 정확한 기울기 코드와 비교합니다.
• 다양한 데이터 세트와 클러스터에서 실험적으로 속도 향상을 보여줍니다.

제안 방법

• 부분 집합의 워커 기여를 모아 불완전한 기울기 g(x)를 계산하는 분수 반복 코드(FRC)를 기반으로 하는 근사 기울기 코드를 사용합니다.
• g̃가 편향 없이 보장되도록 x_{t+1}=x_t - γ g̃(x_t)로 학습합니다(ĥg(x)=g(x)/(1-p)).
• 확률적 지연자 모델 하에서 μ-PL, β-매끄러운 함수에 대해 노이즈 바닥까지 선형 수렴을 보장하는 수렴 보장을 도출합니다.
• 언코드 GD, 정확한 기울기 코드(EGC), AGC를 shifted-exponential 지연자 모델 하에서 엔드-투-엔드 런타임 분석을 제공합니다.
• 여러 데이터 세트와 클러스터에서 ErasureHead를 vanilla 및 그래디언트 코드 GD와 비교하고 속도 향상을 보고합니다.

실험 결과

연구 질문

• RQ1 지연자 지연하에서 분산 경사 하강의 수렴 속도에 근사 기울기 코딩이 어떤 영향을 미치는가?
• RQ2 지연자 허용, 기울기 정확도, 전체 런타임 사이의 트레이드오프는 ErasureHead에서 어떻게 나타나는가?
• RQ3 PL 조건 하에서 근사 기울기 코드가 실용적 속도 향상을 제공하면서 수렴 보장을 유지하는가?
• RQ4 실제 데이터 세트에서 ErasureHead가 vanilla GD 및 정확한 기울기 코딩과 비교해 실험적으로 어떤 성능을 보이는가?

주요 결과

• μ-PL, β-매끄러운 함수 하에서 확률적 지연자 모델 하에 선형 수렴 속도가 작은 노이즈 바닥까지 달성된다.
• 제안된 모델 하에서 ErasureHead의 엔드-투-엔드 런타임은 vanilla 및 그래디언트 코드 GD 대비 이론적으로 최대 log(n) 속도향상을 달성하는 등의 유리한 스케일링을 보인다.
• 근사 기울기 코드는 실제로 표준 및 그래디언트 코드 GD 전반에서 상당한 속도 향상을 제공한다(초록에 명시된 바와 같이).
• 계산 노드의 일정 비율까지의 ERasure를 허용하면서도 회복된 기울기 노이즈가 작다.
• 재현성을 위한 공개 구현(GitHub 링크)을 제공한다.
• 이론적 결과는 지연-런타임 트레이드오프를 정량화하고 정확한 기울기 코드에 비해 대기 시간을 줄인 상태에서 경쟁력 있는 수렴을 보인다.