[논문 리뷰] "Short-Dot": Computing Large Linear Transforms Distributedly Using Coded Short Dot Products

Sanghamitra Dutta, Viveck R. Cadambe외 1명|arXiv (Cornell University)|2017. 04. 17.

Error Correcting Code Techniques인용 수 115

한 줄 요약

Short-Dot은 분산 시스템에서 대규모 선형 변환을 계산하기 위해 많은 짧고 희소한 내적을 사용하고, 어떤 K개의 프로세서든 P개 중 충분하여 Ax를 복구할 수 있도록 하는 코딩 이론에서 영감을 받은 방법을 제시하여 스트래글러를 완화합니다.

ABSTRACT

Faced with saturation of Moore's law and increasing dimension of data, system designers have increasingly resorted to parallel and distributed computing. However, distributed computing is often bottle necked by a small fraction of slow processors called "stragglers" that reduce the speed of computation because the fusion node has to wait for all processors to finish. To combat the effect of stragglers, recent literature introduces redundancy in computations across processors, e.g.,~using repetition-based strategies or erasure codes. The fusion node can exploit this redundancy by completing the computation using outputs from only a subset of the processors, ignoring the stragglers. In this paper, we propose a novel technique -- that we call "Short-Dot" -- to introduce redundant computations in a coding theory inspired fashion, for computing linear transforms of long vectors. Instead of computing long dot products as required in the original linear transform, we construct a larger number of redundant and short dot products that can be computed faster and more efficiently at individual processors. In reference to comparable schemes that introduce redundancy to tackle stragglers, Short-Dot reduces the cost of computation, storage and communication since shorter portions are stored and computed at each processor, and also shorter portions of the input is communicated to each processor. We demonstrate through probabilistic analysis as well as experiments that Short-Dot offers significant speed-up compared to existing techniques. We also derive trade-offs between the length of the dot-products and the resilience to stragglers (number of processors to wait for), for any such strategy and compare it to that achieved by our strategy.

연구 동기 및 목표

• 스트래글러로 인한 대기 지연 하에서 고차원 선형 변환의 빠른 계산을 동기부여한다.
• Ax의 복구 가능성을 보존하면서 각 프로세서의 내적 길이를 줄이는 코딩 전략을 개발한다.
• 내적 길이와 스트래글러 탄력성 사이의 근본적인 트레이드오프를 특징짓는다.
• 기존 분산 계산 방식에 비해 성능 향상을 보이는 분석 및 실험적 결과를 제공한다.

제안 방법

• P by N 행렬 F를 구성하되 어떤 K개의 행도 선형 결합하여 A의 M개 행을 복구할 수 있도록 하되, 각 F 행은 s = (N/P)(P−K+M)로 희소하다.
• 희소성 패턴과 복구 특성을 강제하기 위해 행렬 B 및 첨가 벡터를 사용하여 F를 오프라인으로 인코딩한다.
• 짧은 내적들을 P개의 프로세서에 분배하고 각 프로세서는 자신의 희소성 패턴에 제한된 x의 내적을 계산한다.
• 퓨전 노드는 처음 K개의 응답을 사용하여 B의 해당 행들에 의해 결정된 선형 결합으로 Ax를 복구한다.
• 희소성 한계와 대략적인 최적성에 대한 이론적 한계를 제시하고, 큰 N에서의 비교를 MDS 및 반복 전략과 비교한다.
• 이동된 지수 모델에서의 계산 시간 분석을 통해 Short-Dot을 비부호화, 반복, MDS 방식과 비교한다.

실험 결과

연구 질문

• RQ1 어떤 K개의 짧고 희소한 내적에서도 제어된 희소성을 가진 A x를 복구할 수 있는가?
• RQ2 내적의 길이와 (K)를 기다려야 하는 프로세서 수 사이의 근본적인 트레이드오프는 무엇인가?
• RQ3 스트래글러 조건에서 Short-Dot은 비부호화, 반복 및 MDS 기반 전략에 비해 어떤 성능을 보이는가?
• RQ4 희소성과 탄력성 측면에서 Short-Dot이 근사 최적에 가까운 조건은 무엇인가?
• RQ5 대규모 설정에서 Short-Dot의 계산 시간 이점은 어떻게 기대되는가?

주요 결과

• Short-Dot은 각 F 행이 A x 벡터를 생성할 수 있도록 하면서도 per-프로세서 내적 희소도 s = (N/P)(P−K+M)를 달성한다.
• 논문은 원하는 특성을 가진 F의 존재를 증명하고 평균 희소성의 하한을 도출하며, 큰 N 및 M>1에 대해 Short-Dot이 근사 최적 희소성을 달성한다.
• 이동된 지수 스트래즐링 모델에서 Short-Dot은 비부호화, 반복 및 MDS 전략에 대해 Chkey 구간을 포함한 특정 구간에서 더 낮은 기대 계산 시간을 제공합니다.
• Short-Dot은 점진적으로 더 빠른 계산 시간을 제공할 수 있으며, 이득은 M, P에 따라 log(P) 또는 P 관련 요인으로 스케일링된다.
• 각 내적이 더 짧고 입력 부분집합이 전달되므로 저장소 및 통신 부하가 프로세서당 감소한다.
• 실험 결과 Short-Dot이 스트래글러에 취약한 환경에서 기존 전략을 능가하는 것으로 나타났다.