[논문 리뷰] Serverless Straggler Mitigation using Local Error-Correcting Codes

Vipul Gupta, Dominic Carrano외 4명|arXiv (Cornell University)|2020. 01. 21.

Caching and Content Delivery참고 문헌 38인용 수 6

한 줄 요약

이 논문은 클라우드 플랫폼에서 행렬 곱셈의 스트래글러 노드를 완화하기 위해 로컬 에러수정 코드를 사용하는 서버리스이자 완전히 분산된 인코딩 기반의 방법을 제안한다. 중앙 집중식 마스터 없이 워커 간에 병렬 인코딩 및 디코딩을 가능하게 함으로써, 특별히 실행 방식과 기존의 인코딩 기반 방법에 비해 종단 간 지연 시간을 25% 이상 감소시키며, 디코딩 시간에서 渐近 최적성(Asymptotic optimality)을 달성한다.

ABSTRACT

Inexpensive cloud services, such as serverless computing, are often vulnerable to straggling nodes that increase end-to-end latency for distributed computation. We propose and implement simple yet principled approaches for straggler mitigation in serverless systems for matrix multiplication and evaluate them on several common applications from machine learning and high-performance computing. The proposed schemes are inspired by error-correcting codes and employ parallel encoding and decoding over the data stored in the cloud using serverless workers. This creates a fully distributed computing framework without using a master node to conduct encoding or decoding, which removes the computation, communication and storage bottleneck at the master. On the theory side, we establish that our proposed scheme is asymptotically optimal in terms of decoding time and provide a lower bound on the number of stragglers it can tolerate with high probability. Through extensive experiments, we show that our scheme outperforms existing schemes such as speculative execution and other coding theoretic methods by at least 25%.

연구 동기 및 목표

• 서버리스 환경에서 워커 성능의 변동으로 인해 종단 간 지연 시간이 크게 증가하는 스트래글러 노드 문제를 해결한다.
• 인코딩/디코딩 비용이 무시할 수 없는 대규모 서버리스 환경에서, 특별히 실행 방식과 마스터에 의존하는 인코딩 기반 방법의 한계를 극복한다.
• 에러수정 코드의 국소성(locality)을 활용하여 총 실행 시간을 최소화하는 완전히 분산된 마스터 없는 프레임워크를 설계한다.
• 알고리즘적 동작을 변경하지 않고도 기존 응용 프로그램과의 호환성을 확보하기 위해, 계산의 저수준 병목 지점인 행렬 곱셈 수준에서 작동하도록 한다.
• 실제 스트래글러 분포를 가정할 때 디코딩 실패 확률에 대한 이론적 보장과 디코딩 시간의 渐近 최적성(Asymptotic optimality)을 제공한다.

제안 방법

• 로컬 복구 가능 코드(Local Repairable Codes, LRCs)를 활용하여 서버리스 워커 간에 효율적이고 병렬적인 인코딩 및 디코딩을 수행함으로써 중앙 집중식 조정을 피한다.
• 행렬 곱셈을 블록으로 분해하고, 클라우드에 저장된 데이터 블록에 대해 인코딩을 적용하며, 국소 복구를 지원하는 구조적 코드 설계를 사용한다.
• 모든 계산을 한 노드가 처리하지 않도록 인코딩 및 디코딩 작업을 워커에 분산함으로써, 통신, 스토리지, 계산에서의 마스터 노드 병목 현상을 제거한다.
• 스트래글러의 비가역적 구성(예: 4-, 5-, 6-, 7명의 스트래글러 집합)을 세는 방식을 통해, 격자 기반의 블록 구조에서 디코딩 실패 확률의 상한을 확보하기 위해 확률적 분석을 수행한다.
• 실패 구성의 조합적 수를 기반으로, 높은 확률로 견딜 수 있는 스트래글러 수의 이론적 하한을 유도한다.
• 가용한 비스트래글러 결과가 충분할 경우 정확성을 보장하기 위해, 디코딩 과정을 가용한 워커의 부분 집합에서의 선형 시스템 복원 문제로 공식화한다.

실험 결과

연구 질문

• RQ1 마스터 없는 분산형 인코딩 기반 방법이 서버리스 환경에서 행렬 곱셈의 종단 간 지연 시간을 특별히 실행 방식보다 우월하게 줄일 수 있는가?
• RQ2 에러수정 코드의 국소성(locality)을 어떻게 활용하여 대규모 서버리스 환경에서의 인코딩 및 디코딩 비용을 최소화할 수 있는가?
• RQ3 블록 기반의 행렬 곱셈 인코딩 프레임워크에서 실질적인 스트래글러 분포를 가정할 때, 디코딩 실패에 대한 이론적 상한은 무엇인가?
• RQ4 제안된 방법은 디코딩 시간의 渐近 최적성(Asymptotic optimality)을 유지하면서 얼마나 많은 스트래글러를 견딜 수 있는가?
• RQ5 사용자 알고리즘 로직을 수정하지 않고도 기존 응용 프로그램에 보편적으로 적용 가능한가? 정확성과 투명성을 유지하는가?

주요 결과

• 제안된 방법은 서버리스 환경에서 특별히 실행 방식과 다른 기존의 인코딩 이론 기반 접근 방식에 비해 종단 간 지연 시간을 최소 25% 이상 감소시킨다.
• 디코딩 시간에서 渐近 최적성(Asymptotic optimality)을 달성하여, 충분한 워커 결과가 확보된 후 최종 결과를 복원하는 데 필요한 시간을 최소화한다.
• 블록 구조의 행렬 레이아웃에서 비가역적 스트래글러 구성(예: 4-, 5-, 6-, 7명의 스트래글러 집합)의 조합적 수를 세는 방식을 통해 디코딩 실패 확률의 상한을 상위적으로 제시한다.
• 인코딩 및 디코딩을 워커에 분산시킴으로써 마스터 노드의 병목 현상을 성공적으로 제거하여 서버리스 플랫폼에서 완전한 수평 확장이 가능해진다.
• 이론적 분석 결과, 스트래글러 비율이 낮을 경우(예: AWS Lambda에서 약 2%) 높은 확률로 많은 수의 스트래글러를 견딜 수 있음을 입증한다.
• 행렬 곱셈에 의존하는 모든 알고리즘에 대해 보편적으로 적용 가능하며, 사용자 수준의 코드를 변경하지 않고도 계산 원시 수준에서 투명하게 작동하므로 정확성과 투명성을 유지한다.