[논문 리뷰] Straggler-Resilient and Communication-Efficient Distributed Iterative Linear Solver

Farzin Haddadpour, Yaoqing Yang외 3명|arXiv (Cornell University)|2018. 06. 15.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 13

한 줄 요약

이 논문은 반복적 선형 해법에서의 스트래글러 문제와 통신 병목 현상을 해결하고, 반복 횟수에 관계없이 통신 라운드를 단 한 번으로 줄이는, 스트래글러에 강건하고 통신 효율적인 분산 반복 선형 해법인 PolyLin을 제안한다. 오류 수정 코드 원리를 활용하여 각 워커가 병렬로 부분 결과를 계산할 수 있도록 하여, 최대 $P-K$명의 스트래글러를 견디며 총 통신 비용을 크게 낮춘다. 실험에서는 높은 계산 오버헤드가 있음에도 불구하고 최대 20% 빠른 완료 시간을 달성한다.

ABSTRACT

We propose a novel distributed iterative linear inverse solver method. Our method, PolyLin, has significantly lower communication cost, both in terms of number of rounds as well as number of bits, in comparison with the state of the art at the cost of higher computational complexity and storage. Our algorithm also has a built-in resilience to straggling and faulty computation nodes. We develop a natural variant of our main algorithm that trades off communication cost for computational complexity. Our method is inspired by ideas in error correcting codes.

연구 동기 및 목표

• 분산 반복 선형 해법에서의 통신 병목 현상과 스트래글러 효과를 해결하기 위해.
• 분산 행렬-벡터 반복에서 통신 라운드 수와 총 전송 데이터량을 줄이기 위해.
• 수렴성을 희생시키지 않고도 스트래글링 또는 고장 난 노드가 존재하는 상황에서도 장애 내성을 확보하기 위해.
• MRPolyLin를 통해 통신 비용과 계산 복잡도 사이의 트레이드오��� 메커니즘을 개발하기 위해.
• 낮은 통신으로도 높은 노드 계산 비용이 있음에도 불구하고 종단 간 완료 시간을 단축시킬 수 있음을 입증하기 위해.

제안 방법

• PolyLin은 다항식 보간과 오류 수정 코드 기법을 사용하여 $n$라운드의 통신 없이도 행렬 $\mathbf{A}$의 $n$제곱을 계산한다.
• 마스터 노드는 $P$개의 워커에게 인코딩된 입력을 방송하며, 각 워커는 $\mathbf{A}$와 $\mathbf{Q}$의 일부를 사용해 부분 결과를 계산한다.
• 결과는 마스터 노드에서 보간을 통해 집계되어, 단 한 번의 통신 라운드만으로 전체 $\mathbf{x}^{(n)}$를 재구성할 수 있다.
• 이 방법은 매 라운드에 $K$개의 워커만 완료되어도 수렴을 보장하므로, 내장된 스트래글러 내성 기능을 제공한다.
• MRPolyLin는 반복을 $\ell$개의 단계로 나누어 통신 비용을 줄이기 위해 각 워커의 계산 부담을 줄이는 데 사용된다.
• 각 워커 노드의 사전 처리 단계에서는 중심 집중식 반복 하나에 해당하는 다항식 기저를 계산하며, 이는 다수의 쿼리에 걸쳐 분할될 수 있다.

실험 결과

연구 질문

• RQ1 분산 반복 선형 해법이 선형 수렴을 유지하면서도 단일 라운드 통신을 달성할 수 있는가?
• RQ2 오류 수정 코드 원리를 어떻게 활용하여 반복적 행렬 계산에서 통신을 줄일 수 있는가?
• RQ3 계산 오버헤드를 얼마나 희생하여 통신을 줄이고 스트래글러 내성을 확보할 수 있는가?
• RQ4 통신 라운드를 줄이면 높은 노드 계산 비용이 있음에도 불구하고 종단 간 완료 시간이 빨라지는가?
• RQ5 모든 $P$개 노드가 각 라운드를 완료할 필요 없이도 $P-K$명의 스트래글러에 강건하게 만들 수 있는가?

주요 결과

• PolyLin은 통신 라운드를 $n$에서 1로 줄였으며, 총 전송 데이터량은 반복 횟수와 무관하게 워커당 약 $2N$ 비트이다.
• 알고리즘은 최대 $P-K$명의 스트래글러를 견디며, 매 라운드에 $K$개의 정상 작동 워커만 있으면 정확한 결과를 생성한다.
• AWS EC2에서 $N=168,000$로 실험한 결과, PolyLin과 MRPolyLin는 동일한 계산 및 스토리지 비용을 가진 기반 기반 기반보다 최대 20% 더 빠른 완료 시간을 달성했다.
• 160개 노드 중에서 가장 빠른 110개 또는 101개 노드만 기다리는 경우, MRPolyLin는 모든 노드가 완료를 기다리는 기반 기반보다 최대 8%의 성능 향상을 달성했다.
• 사전 처리 비용은 다수의 쿼리에 걸쳐 분할되기 때문에, 고정되거나 천천가 변화하는 $\mathbf{A}$와 $\mathbf{Q}$를 갖는 애플리케이션(예: 개인화된 페이지랭크 또는 푸아송 해법)에서는 실용적이다.
• MRPolyLin는 DSVRG나 DASVRG와 같이 $n^*$에 따라 통신이 증가하는 기존 기반 기반에서는 달성할 수 없는, 통신과 계산 간 조절 가능한 트레이드오프를 가능하게 한다.