[논문 리뷰] On Batch-Processing Based Coded Computing for Heterogeneous Distributed Computing Systems

Baoqian Wang, Junfei Xie외 3명|arXiv (Cornell University)|2019. 12. 29.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 11

한 줄 요약

이 논문은 이질적 시스템을 위한 새로운 코딩된 분산 계산 프레임워크인 배치 처리 기반 코딩 계산(BPCC)을 제안한다. 이 프레임워크는 완전한 계산이 끝나지 않은 상태에서 워커들이 부분 결과를 배치 단위로 사전에 반환함으로써 지연 시간을 줄이는 것을 가능하게 한다. BPCC는 점근적 최적성을 확보하며, 특히 유한 또는 무한 지연 조건에서 스트래글러가 존재할 경우 기존 최고 수준의 기법인 HCMM보다 임계 작업 완료 시간에서 뛰어난 성능을 발휘한다.

ABSTRACT

In recent years, coded distributed computing (CDC) has attracted significant attention, because it can efficiently facilitate many delay-sensitive computation tasks against unexpected latencies in distributed computing systems. Despite such a salient feature, many design challenges and opportunities remain. In this paper, we focus on practical computing systems with heterogeneous computing resources, and design a novel CDC approach, called batch-processing based coded computing (BPCC), which exploits the fact that every computing node can obtain some coded results before it completes the whole task. To this end, we first describe the main idea of the BPCC framework, and then formulate an optimization problem for BPCC to minimize the task completion time by configuring the computation load. Through formal theoretical analyses, extensive simulation studies, and comprehensive real experiments on the Amazon EC2 computing clusters, we demonstrate promising performance of the proposed BPCC scheme, in terms of high computational efficiency and robustness to uncertain disturbances.

연구 동기 및 목표

• 이질적 분산 계산 시스템에서 스트래글러로 인한 지연 문제를 해결하기 위해.
• 조기 부분 결과 전달을 가능하게 하는 코딩된 계산 프레임워크를 설계하여 작업 완료 시간을 단축하기 위해.
• 기대 완료 시간을 최소화하기 위해 이질적 노드 간의 계산 부하 할당을 최적화하기 위해.
• Amazon EC2에서의 시뮬레이션과 실제 실험을 통해 BPCC의 성능을 실제 스트래글러 조건 하에서 평가하기 위해.
• BPCC의 점근적 최적성과 파라미터 민감도에 대한 이론적 보장을 수립하기 위해.

제안 방법

• 이질적 노드에 대해 이동된 지수 분포 처리 시간 분포 하에서 기대 작업 완료 시간을 최소화하는 최적화 문제를 수립한다.
• 주 최적화 문제에서 파생된 대체 최적화 문제를 해결하여 최적의 부하 할당 전략을 설계한다.
• 각 워커가 전체 작업 완료 전에 여러 배치로 부분 코딩 결과를 반환하는 배치 처리 메커니즘을 도입한다.
• 시간 민감도가 높은 응용 프로그램을 위해 부분 결과에 특이값 분해(SVD)를 적용하여 조기 근사 해를 도출한다.
• 배치 수를 제어하는 데 사용되는 파라미터 $ p $ 를 도입하여 계산 효율성과 저장소 오버헤드 사이의 트레이드오���을 가능하게 한다.
• 다양한 스트래글러 조건 하에서 Amazon EC2 클러스터에서의 광범위한 시뮬레이션과 실제 실험을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 코딩된 계산에서 부분 결과 전달 방식은 이질적 분산 시스템에서 작업 완료 시간을 어떻게 줄일 수 있는가?
• RQ2 배치 처리 기반 코딩 프레임워크에서 기대 완료 시간을 최소화하기 위해 이질적 노드 간 최적의 부하 할당 전략은 무엇인가?
• RQ3 스트래글러 조건 하에서 배치 수 $ p $ 는 BPCC의 성능과 강건성에 어떤 영향을 미치는가?
• RQ4 유한 및 무한 스트래글러 지연 조건 하에서 BPCC는 기존의 코딩 및 비코딩 기법보다 지연 시간과 신뢰성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 BPCC의 점근적 최적성과 파라미터 민감도에 대해 어떤 이론적 보장들을 수립할 수 있는가?

주요 결과

• BPCC는 이질적 노드 처리 시간 조건 하에서 기대 작업 완료 시간을 최소화하는 데 점근적 최적성을 확보한다.
• 스트래글러가 유한 지연을 가질 경우, BPCC는 비코딩 및 HCMM 기법보다 뚜렷이 뛰어난 성능을 보이며, 스트래글러 비율이 20%를 초과할수록 더욱 두드러진다.
• 무한 스트래글러 지연 조건 하에서는 BPCC는 비영인 성공률 유지를 유지하며 HCMM보다 빠르게 작업을 완료하지만, 비코딩 기법은 완전히 실패한다.
• BPCC의 평균 실행 시간은 배치 수 $ p $ 가 증가함에 따라 감소하며, $ p $ 가 5에서 100으로 증가함에 따라 효율성이 향상됨을 보여준다.
• 유한 지연 조건 하에서는 BPCC의 성능 저하 속도가 기준 기법보다 느리며, 스트래글러의 불확실성에 대해 더 높은 강건성을 보인다.
• 이론적 분석을 통해 BPCC의 성능는 핵심 파라미터 $ p $ 에 의해 제한되며, $ p $ 의 극단적 값에서 최악 및 최상의 성능가능성이 확보됨을 확인한다.