[논문 리뷰] Polynomial codes: an optimal design for high-dimensional coded matrix multiplication

Qian Yu, Mohammad Ali Maddah-Ali외 1명|arXiv (Cornell University)|2017. 12. 04.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 367

한 줄 요약

이 논문은 분산 행렬 곱셈을 위한 새로운 코딩 이론적 전략인 다항식 코드를 제안한다. 이 전략은 출력을 재구성하기 위해 필요한 워커 수인 최적의 복구 임계값(복구 임계값의 최소값)을 달성한다. 계산을 다항식 보간에 매핑함으로써, 느린 워커(스트래글러)가 있는 상황에서도 효율적이고 저지연으로 복구가 가능하며, 복구 임계값, 지연 시간, 통신 부하 측면에서 이전의 연구를 능가한다.

ABSTRACT

We consider a large-scale matrix multiplication problem where the computation is carried out using a distributed system with a master node and multiple worker nodes, where each worker can store parts of the input matrices. We propose a computation strategy that leverages ideas from coding theory to design intermediate computations at the worker nodes, in order to optimally deal with straggling workers. The proposed strategy, named as polynomial codes, achieves the optimum recovery threshold, defined as the minimum number of workers that the master needs to wait for in order to compute the output. This is the first code that achieves the optimal utilization of redundancy for tolerating stragglers or failures in distributed matrix multiplication. Furthermore, by leveraging the algebraic structure of polynomial codes, we can map the reconstruction problem of the final output to a polynomial interpolation problem, which can be solved efficiently. Polynomial codes provide order-wise improvement over the state of the art in terms of recovery threshold, and are also optimal in terms of several other metrics including computation latency and communication load. Moreover, we extend this code to distributed convolution and show its order-wise optimality.

연구 동기 및 목표

• 대규모 분산 행렬 곱셈 시스템에서 느린 워커(스트래글러) 문제를 해결하기 위해.
• 마스터가 복구하기 위해 기다려야 할 워커 수인 복구 임계값을 최소화하는 코딩 전략을 설계하기 위해.
• 장애 내성 환경에서 복구에 최적의 부가 정보 활용을 달성하기 위해.
• 코딩 프레임워크를 분산 컨volution 연산으로 확장하여 이론적 최적성 보장을 제공하기 위해.

제안 방법

• 다항식 평가를 사용하여 워커 노드에서 중간 계산을 설계하기 위해 대수적 코딩 이론을 활용한다.
• 최종 행렬 곱의 재구성을 다항식 보간 문제로 매핑함으로써 효율적인 디코딩을 가능하게 한다.
• 유한체 위에서 다항식 보간을 사용하여 입력 행렬에서 코드어를 구성한다.
• 마스터가 복구 임계값과 같은 워커의 부분집합으로도 출력을 재구성할 수 있도록 보장한다.
• 구조화된 부가 정보를 사용하여 통신 부하와 계산 오버헤드를 최소화한다.
• 다항식 평가 및 보간 과정을 적응시켜 분산 컨볼루션으로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 분산 행렬 곱셈 시스템에서 마스터가 출력을 재구성하기 위해 기다려야 할 워커의 최소 수는 얼마인가?
• RQ2 복구 임계값의 이론적 하한을 달성할 수 있는 코딩 체계를 설계할 수 있는가?
• RQ3 대수적 구조를 활용하여 재구성 과정을 효율적이고 확장 가능하게 만들 수 있는가?
• RQ4 제안된 코딩 전략을 분산 컨볼루션과 같은 다른 선형 대수 연산으로 확장할 수 있는가?
• RQ5 기존 접근 방식과 비교해 지연 시간과 통신 부하에서 어떤 개선이 이루어지는가?

주요 결과

• 다항식 코드는 출력을 재구성하기 위해 필요한 최적의 복구 임계값을 달성한다. 이는 이론적으로 필요한 최소 워커 수이다.
• 특히 고차원 설정에서 이전 최첨단 기법보다 복구 임계값이 순서적으로 더 우수하다.
• 다항식 보간을 통한 효율적 재구성 덕분에 디코딩 복잡도가 크게 감소한다.
• 계산 지연 시간과 통신 부하 측면에서 최적의 성능을 달성한다.
• 복구 임계값에서 순서적으로 최적성을 유지하면서 분산 컨볼루션으로 확장된 프레임워크를 제공한다.
• 다항식 코드의 대수적 구조 덕분에 분산 시스템에서 체계적이고 확장 가능한 구현이 가능하다.