[논문 리뷰] A Survey of Coded Distributed Computing

Jer Shyuan Ng, Wei Yang Bryan Lim외 6명|arXiv (Cornell University)|2020. 08. 20.

Cooperative Communication and Network Coding참고 문헌 225인용 수 22

한 줄 요약

이 종합 검토에서는 분산 컴퓨팅 시스템에서의 통신 오버헤드와 스트래글러 효과를 줄이기 위한 코딩된 분산 컴퓨팅(CDC)을 제안한다. MapReduce와 같은 분산 프레임워크에 코딩 이론을 통합함으로써 CDC는 데이터 재배치를 최소화하고 계산을 가속화하여 통신 부하와 지연 시간을 크게 감소시키며, 장애 내성, 기밀성 및 보안을 제공한다.

ABSTRACT

Distributed computing has become a common approach for large-scale computation of tasks due to benefits such as high reliability, scalability, computation speed, and costeffectiveness. However, distributed computing faces critical issues related to communication load and straggler effects. In particular, computing nodes need to exchange intermediate results with each other in order to calculate the final result, and this significantly increases communication overheads. Furthermore, a distributed computing network may include straggling nodes that run intermittently slower. This results in a longer overall time needed to execute the computation tasks, thereby limiting the performance of distributed computing. To address these issues, coded distributed computing (CDC), i.e., a combination of coding theoretic techniques and distributed computing, has been recently proposed as a promising solution. Coding theoretic techniques have proved effective in WiFi and cellular systems to deal with channel noise. Therefore, CDC may significantly reduce communication load, alleviate the effects of stragglers, provide fault-tolerance, privacy and security. In this survey, we first introduce the fundamentals of CDC, followed by basic CDC schemes. Then, we review and analyze a number of CDC approaches proposed to reduce the communication costs, mitigate the straggler effects, and guarantee privacy and security. Furthermore, we present and discuss applications of CDC in modern computer networks. Finally, we highlight important challenges and promising research directions related to CDC

연구 동기 및 목표

• 분산 컴퓨팅 시스템의 성능을 제한하는 높은 통신 오버헤드와 스트래글러 효과를 해결하기 위해.
• 분산 프레임워크에서 통신 부하를 줄이고 장애 내성을 향상시키는 코딩 기법을 조사하기 위해.
• 신뢰할 수 없는 노드를 통해 안전한 데이터 처리를 가능하게 하는 CDC의 기밀성 및 보안 메커니즘을 검토하기 위해.
• 엣지 컴퓨팅, NFV 및 UAV와 같은 현대 네트워크에서의 CDC 실용적 응용을 탐색하기 위해.
• 확장 가능하고 저복잡도의 CDC 구현을 위한 열린 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• MapReduce와 같은 분산 컴퓨팅 프레임워크에 MDS 코드 및 배치 전달 배열과 같은 코딩 이론을 통합하여 데이터 재배치를 줄이기 위해.
• 코딩된 계산을 통해 워커들이 인코딩된 데이터를 처리하도록 하여, 중복성을 통해 스트래글러 노드로부터의 복구를 가능하게 하기 위해.
• 신뢰할 수 없는 워커들이 입력 또는 출력 데이터를 유추할 수 없도록 보장하는 기밀성 보호를 위한 안전한 코딩 체계 설계하기 위해.
• 무선 또는 비신뢰성 네트워크에서 채널 상태 정보(CSI)가 불완전하거나 데이터 항목이 누락되는 경우에도 내성적인 코딩 기법 제안하기 위해.
• 정보 이론적 모델을 사용하여 통신 부하, 계산 지연 시간 및 스토리지 비용 간의 트레이드오프 분석하기 위해.
• 반복적 및 비선형 계산을 지원하기 위해 Spark, Dryad 및 CIEL과 같은 MapReduce가 아닌 모델로 CDC 확장하기 위해.

실험 결과

연구 질문

• RQ1 코딩 기법을 어떻게 활용하여 분산 컴퓨팅 시스템에서 통신 부하를 최소화할 수 있는가?
• RQ2 코딩을 통해 스트래글러 노드가 전체 계산 지연 시간에 미치는 영향을 어느 정도 줄일 수 있는가?
• RQ3 CDC 시스템에서 통신 부하, 계산 지연 시간 및 스토리지 비용 간의 트레이드오프는 무엇인가?
• RQ4 코딩 체계를 활용한 분산 컴퓨팅에서 기밀성 및 보안을 어떻게 보장할 수 있는가?
• RQ5 엣지 컴퓨팅 및 UAV와 같은 실세계 응용 분야에 CDC를 적용할 때의 과제와 기회는 무엇인가?

주요 결과

• Hadoop 클러스터에서 데이터 재배치는 총 작업 실행 시간의 최대 33%를 차지하여 통신 감소의 필요성을 강조한다.
• 이질적인 Amazon EC2 클러스터에서 TeraSort 및 Self-Join 워크로드의 Shuffle 단계는 실행 시간의 65–70%를 소비한다.
• CDC 체계는 코딩된 멀티캐스팅과 MDS 코드를 활용하여 통신 부하를 감소시켜 데이터 재배치 효율성에 상당한 향상을 이룬다.
• 코딩된 계산은 일부 워커가 느리더라도 작업 완료가 가능하게 하여 스트래글러 효과를 완화하고 전체 지연 시간을 줄인다.
• 통신 부하와 계산 지연 시간 사이에 트레이드오프가 존재하며, 최적의 CDC 설계는 양자를 균형 있게 조정하기를 목표로 한다.
• 엣지 컴퓨팅, UAV 및 차량용 네트워크에서의 향후 CDC 응용은 이동성과 비신뢰성 있는 채널에 대한 내성 필요로 하여 새로운 코딩 설계를 촉진한다.