[논문 리뷰] A locality-based approach for coded computation

Michael Rudow, K. V. Rashmi외 1명|arXiv (Cornell University)|2020. 02. 06.

Advanced Data Storage Technologies참고 문헌 54인용 수 9

한 줄 요약

이 논문은 오류 수정 코드의 국소성 특성으로 계산 내성성을 모델링하는 국소성 기반 프레임워크를 제안하며, 다변수 다항식 계산에 대해 기존 방법보다 적은 수의 워커를 필요로 한다. Reed-Muller 코드의 국소 복구 기법을 활용함으로써 비선형 함수에 대해 s명의 스트레일러에 대한 강건성을 확보하면서도 계산 국소성을 유지하여, 이전에 알려진 비선형 함수에 대해 s배의 워커 오버헤드 장벽을 돌파한다.

ABSTRACT

Modern distributed computation infrastructures are often plagued by unavailabilities such as failing or slow servers. These unavailabilities adversely affect the tail latency of computation in distributed infrastructures. The simple solution of replicating computation entails significant resource overhead. Coded computation has emerged as a resource-efficient alternative, wherein multiple units of data are encoded to create parity units and the function to be computed is applied to each of these units on distinct servers. A decoder can use the available function outputs to decode the unavailable ones. Existing coded computation approaches are resource efficient only for simple variants of linear functions such as multilinear, with even the class of low degree polynomials requiring the same multiplicative overhead as replication for practically relevant straggler tolerance. In this paper, we present a new approach to model coded computation via the lens of locality of codes. We introduce a generalized notion of locality, denoted computational locality, building upon the locality of an appropriately defined code. We show that computational locality is equivalent to the required number of workers for coded computation and leverage results from the well-studied locality of codes to design coded computation schemes. We show that recent results on coded computation of multivariate polynomials can be derived using local recovering schemes for Reed-Muller codes. We present coded computation schemes for multivariate polynomials that adaptively exploit locality properties of input data-- an inadmissible technique under existing frameworks. These schemes require fewer workers than the lower bound under existing coded computation frameworks, showing that the existing multiplicative overhead on the number of servers is not fundamental for coded computation of nonlinear functions.

연구 동기 및 목표

• 비선형 함수, 특히 다변수 다항식에 대해 기존의 코딩된 계산 기법이 요구하는 높은 자원 오버헤드 문제를 해결하기 위해.
• 기존 방법이 비록 저차수 비선형 함수일지라도 s명의 스트레일러를 견딜 수 있도록 s배 더 많은 워커가 필요하다는 근본적인 제약을 극복하기 위해.
• 계산 내성성과 기반 코드의 국소성 간의 새로운 이론적 프레임워크를 수립하기 위해.
• 입력 데이터의 국소성을 적극적으로 활용하는 코딩된 계산 기법을 설계하여, 이전의 하한 이하의 워커 수를 확보하기 위해.
• s배의 워커 오버헤드가 비선형 코딩된 계산에 있어 본질적인 제한이 아니라는 것을 입증하기 위해.

제안 방법

• 코드의 국소성과 직접 연결된 계산 국소성의 새로운 개념을 도입하여, 필요한 워커 수와의 관계를 설정한다.
• 각 함수 평가가 코드워드에 해당하는 코드로 코딩된 계산을 모델링하고, 국소 복구 분석을 위해 잘라낸 코드를 사용한다.
• Reed-Muller 코드에 대한 알려진 국소 복구 기법을 적용하여 다변수 다항식을 위한 코딩된 계산 기법을 구성한다.
• 입력 데이터에 특화된 국소성을 활용하는 적응형 기법을 설계하여, 이전의 하한 이하의 워커 수를 확보한다.
• 다항식 조합의 보간을 통해 부분적인 워커 결과로부터 출력을 복구하며, 계산 국소성이 워커 수를 결정한다.
• 기존 기법들인 다항식 및 MatDot 코드를 코드 국소성의 관점에서 재해석하여, 그들의 기반이 되는 구조를 드러낸다.

실험 결과

연구 질문

• RQ1 기존 접근법이 요구하는 s배의 워커 오버헤드를 넘어서 비선형 함수의 코딩된 계산에서 워커 오버헤드를 낮출 수 있는가?
• RQ2 s배의 워커 오버헤드는 다변수 다항식의 코딩된 계산에 대해 본질적인 한계인가?
• RQ3 코드의 국소성 특성을 체계적으로 활용하여 더 효율적인 코딩된 계산 기법을 설계할 수 있는가?
• RQ4 기존의 입력 무관 기반 프레임워크에서는 허용되지 않는 방식으로 입력 특화 데이터 국소성을 활용할 수 있는가?
• RQ5 잘 알려진 코드 국소성 결과들이 코딩된 계산 영역으로 얼마나 잘 이행될 수 있는가?

주요 결과

• 제안된 국소성 기반 모델은 코딩된 계산에서 계산 국소성과 필요한 최소 워커 수 사이의 등가성을 수립한다.
• 이 방법은 기존 프레임워크의 하한을 뛰어넘는 다변수 다항식을 위한 코딩된 계산 기법을 가능하게 하며, s배의 오버헤드 장벽을 돌파한다.
• 도수-(s+1)의 다변수 다항식에 대해 이 기법은 s+1명의 워커만 필요로 하며, 이는 이전 방법이 s×(s+1)명의 워커가 필요로 했던 것과 대비된다.
• 이 방법은 Reed-Muller 코드 국소성에 기반한 통합 프레임워크를 통해 기존의 최적 기법인 다항식 및 MatDot 코드를 재현한다.
• MatDot 코드에서 코드 기호의 계산 국소성은 2t−1+s로 제한되며, 이는 다항식 코드의 t²+s에 비해 상당히 낮다. 이는 통신량이 더 많아지는 비용을 감수함으로써 달성된다.
• 이 프레임워크는 기존의 입력 무관 모델에서 지원하지 않는 입력 데이터 국소성을 활용하는 적응형 기법을 가능하게 한다.