[논문 리뷰] Communication-Computation Efficient Gradient Coding

Min Ye, Emmanuel Abbé|arXiv (Cornell University)|2018. 02. 09.

Stochastic Gradient Optimization Techniques인용 수 73

한 줄 요약

이 논문은 그래디언트 합산에서 계산 부하와 스트래글러 허용도, 그리고 통신 비용 간의 3자 트레이드오프를 제시하고, 주어진 조건에서 정확한 복구를 달성하는 재귀 다항식 코딩 스킴을 제시한다.

ABSTRACT

This paper develops coding techniques to reduce the running time of distributed learning tasks. It characterizes the fundamental tradeoff to compute gradients (and more generally vector summations) in terms of three parameters: computation load, straggler tolerance and communication cost. It further gives an explicit coding scheme that achieves the optimal tradeoff based on recursive polynomial constructions, coding both across data subsets and vector components. As a result, the proposed scheme allows to minimize the running time for gradient computations. Implementations are made on Amazon EC2 clusters using Python with mpi4py package. Results show that the proposed scheme maintains the same generalization error while reducing the running time by $32\%$ compared to uncoded schemes and $23\%$ compared to prior coded schemes focusing only on stragglers (Tandon et al., ICML 2017).

연구 동기 및 목표

• 스트래글러와 높은 통신 비용이 존재하는 상황에서 분산 그래디언트 계산의 속도를 높일 필요성을 동기부여한다.
• 계산 부하, 스트래글러 허용도, 그리고 통신 감소의 세 파라미터 트레이드오프를 형식화한다.
• 정확한 그래디언트 복구를 가능하게 하는 달성 가능한 그래디언트 코딩 스킴의 조건을 도출한다.
• Vandermonde 행렬을 활용한 재귀 다항식 구성으로 트레이드오프를 달성하는 것을 제안한다.
• 런타임 감소를 보여주는 Amazon EC2 실험으로 실용적 타당성을 입증한다.

제안 방법

• d/k ≥ (s+m)/n 인 세 파라미터 가능한 영역 (d, s, m)을 정의하고, 작업자에 의한 선형 합성을 목표로 한다.
• 할당된 부분 그래디언트로 각 작업자의 출력을 생성하기 위해 재귀 다항식을 사용하는 코딩 스킴을 구성한다.
• 전송 차원을 줄이기 위해 그래디언트 좌표를 m개의 그룹으로 분할한다.
• 설계된 특성을 갖는 (n-s)×n Vandermonde-유사 행렬 V와 (mn)×(n-s) 행렬 B를 사용하여 임의의 n−s 작업자로부터 합 그래디언트를 정확히 복구 가능하게 한다.
• 각 작업자의 전송을 선형인 f_i(g_i, g_{i⊕1}, ..., g_{i⊕(d-1)})로 표현하여, 크기가 n−s인 임의 부분집합에서 g_1+...+g_n의 복구 가능성을 보장한다.
• 수치 안정성을 위한 θ 매개변수의 명시적 선택을 포함하여 B와 전송 벡터를 계산하기 위한 효율적인 구현 전략을 제시한다.

실험 결과

연구 질문

• RQ1 분산 그래디언트 코딩에서 계산 부하, 스트래글러 허용도, 그리고 통신 비용 사이의 근본적인 트레이드오프는 무엇인가?
• RQ2 선형 코딩 스킴으로 일부 작업자들의 하위집합에서 전체 그래디언트를 최적 복구할 수 있는가?
• RQ3 재귀 다항식 구성으로 전송되는 그래디언트의 차원 축소를 가능하게 하면서도 복구 가능성을 유지하는 방법은?
• RQ4 Vandermonde 기반 구성의 수치적 안정성 고려사항은 무엇이며, 이는 달성 가능한 영역에 어떤 영향을 미치는가?
• RQ5 제안된 스킴들이 일반화 성능을 저하시키지 않으면서 실제 분산 시스템에서 실용적 실행 시간 개선을 가져오는가?

주요 결과

• 논문은 3차원 트레이드오프를 확립한다: d/k ≥ (s+m)/n (그리고 n=k일 때는 동등하게 d ≥ s+m).
• 재귀 다항식에 기초한 명시적 코딩 스킴이 선형 f_i 함수로 트레이드오프를 달성한다.
• 그래디언트 좌표를 m개 그룹으로 분할하면 per-worker 통신 차원을 l/(dn−s)로 감소시킨다(적절한 나눠떼기 가정하에).
• Vandermonde 기반 구성과 재귀 다항식 설계는 수치 안정성 제약을 조건으로 임의의 n−s 작업자로부터 정확한 그래디언트 복구를 가능하게 한다.
• 이 접근법은 실제 데이터 세트(Amazon Employee Access/Kaggle)에서 같은 일반화 오차를 유지하면서, uncoded 스킴 대비 실행 시간을 32%, 이전 코딩 스킴 대비 23% 줄인다.