[논문 리뷰] Polynomially Coded Regression: Optimal Straggler Mitigation via Data Encoding

Songze Li, Seyed Mohammadreza Mousavi Kalan외 3명|arXiv (Cornell University)|2018. 05. 24.

Distributed Sensor Networks and Detection Algorithms참고 문헌 20인용 수 48

한 줄 요약

PCR encodes data at workers to enable gradient computation via polynomial interpolation, dramatically reducing the straggler-robust recovery threshold for distributed least-squares regression.

ABSTRACT

We consider the problem of training a least-squares regression model on a large dataset using gradient descent. The computation is carried out on a distributed system consisting of a master node and multiple worker nodes. Such distributed systems are significantly slowed down due to the presence of slow-running machines (stragglers) as well as various communication bottlenecks. We propose "polynomially coded regression" (PCR) that substantially reduces the effect of stragglers and lessens the communication burden in such systems. The key idea of PCR is to encode the partial data stored at each worker, such that the computations at the workers can be viewed as evaluating a polynomial at distinct points. This allows the master to compute the final gradient by interpolating this polynomial. PCR significantly reduces the recovery threshold, defined as the number of workers the master has to wait for prior to computing the gradient. In particular, PCR requires a recovery threshold that scales inversely proportionally with the amount of computation/storage available at each worker. In comparison, state-of-the-art straggler-mitigation schemes require a much higher recovery threshold that only decreases linearly in the per worker computation/storage load. We prove that PCR's recovery threshold is near minimal and within a factor two of the best possible scheme. Our experiments over Amazon EC2 demonstrate that compared with state-of-the-art schemes, PCR improves the run-time by 1.50x ~ 2.36x with naturally occurring stragglers, and by as much as 2.58x ~ 4.29x with artificial stragglers.

연구 동기 및 목표

• 최소자승 회귀를 위한 분산 그래디언트 하강에서 느리고 느린 스트래글러 및 통신 병목 현상을 동기 부여하고 해결한다.
• 그래디언트 회복 임계치를 줄이는 데이터 인코딩 기반의 스킴을 개발한다.
• Amazon EC2에서의 실험을 통해 이론적 최적성 보장과 실질적 이득을 보여준다.
• 커널 트릭을 이용해 커널화된/비선형 회귀 문제로 접근을 확장한다.
• 이전 기울기 코딩 스킴과의 계산 복잡도 비교를 제공한다.

제안 방법

• 각각의 워커가 인코딩된 부분 행렬을 통해 다항식 평가를 계산하도록 데이터를 워커 간에 인코딩한다.
• 각 워커의 차수 2⟨n/r⟩−2의 다항식을 사용하고 가장 빠른 2⟨n/r⟩−1개의 워커로 보간하여 전체 그래디언트를 복원한다.
• 복구 임계치 KPCR(r)=2⌈n/r⌉−1를 달성하며, 이는 하한 K*(r)의 2배 이내이다.
• 어떤 스킴이든 최소 ⌈n/r⌉ 워커가 필요하다는 하한을 증명하여, 이 2배 차이가 거의 최적임을 보인다.
• 복구 임계치, 해독 복잡도, 통신 측면에서 PCR과 gradient coding(GC)을 비교한다.
• GC, naive 및 BCC 스킴에 대해 Amazon EC2 실험으로 실질적 이득을 시연한다.

실험 결과

연구 질문

• RQ1 고정된 워커당 저장/계산 부하 r 하에서 코딩된 분산 회귀에 대해 달성 가능한 최소 복구 임계치는 얼마인가?
• RQ2 그래디언트 코딩 접근법을 넘어 마스터의 그래디언트 대기 시간을 줄일 수 있는 데이터 인코딩 기반 스킴을 설계할 수 있는가?
• RQ3 실제 분산 환경에서 기존의 스트래글러 완화 스킴과 비교했을 때 PCR의 실용적 성능은 어떤가?
• RQ4 스트래글러 강건성을 유지하면서 커널을 통한 비선형 회귀로 PCR 아이디어를 확장할 수 있는가?
• RQ5 GD 반복에서 PCR와 GC의 계산 및 통신 트레이드오프는 무엇인가?

주요 결과

• PCR은 회복 임계치 KPCR(r)=2⌈n/r⌉−1를 달성하여 같은 r에 대해 GC의 n−r+1보다 약 r/2배 개선한다.
• 거의 최적에 가까운 하한은 어떤 스킴도 최소 ⌈n/r⌉ 워커가 필요하다고 보이며, PCR을 최적의 2배 이내로 위치시킨다.
• PCR의 해독 복잡도는 O(d(n/r) log^2(n/r) log log(n/r))로 스케일하며, 고정된 r에 대해 n이 커져도 증가하지 않는다, GC와 달리.
• Amazon EC2 실험에서 자연스러운 스트래글러로 GC 대비 1.50×–2.36× 빨랐고, 인공 스트래글러로는 2.58×–4.29× 빨랐다.
• 한 반복당 통신을 줄여 워커 수를 더 적게 필요로 하도록 한다(2⌈n/r⌉−1, n−r+1 대신).
• PCR은 데이터 행렬에 커널 트릭을 적용해 커널 방법으로 비선형 회귀에 확장할 수 있다.