[논문 리뷰] Communication-Aware Scheduling of Serial Tasks for Dispersed Computing

Chien-Sheng Yang, Ramtin Pedarsani외 1명|arXiv (Cornell University)|2018. 04. 17.

Cloud Computing and Resource Management참고 문헌 41인용 수 5

한 줄 요약

이 논문은 작업을 체인 또는 DAG로 모델링하고 서버 간 통신 지연을 명시적으로 모델링한 산산이 흩어진 컴퓨팅 네트워크를 위한 통신 인지 스케줄링 프레임워크를 제안한다. 가상 대기열 네트워크를 도입하여 시스템 상태를 인코딩하고, 유체 근사에서 리아푸노프 안정성 분석을 통해 최대 무게(Max-Weight) 스케줄링 정책이 통과량 최적성(throughput optimality)을 달성함을 증명한다.

ABSTRACT

There is a growing interest in development of in-network dispersed computing paradigms that leverage the computing capabilities of heterogeneous resources dispersed across the network for processing massive amount of data is collected at the edge of the network. We consider the problem of task scheduling for such networks, in a dynamic setting in which arriving computation jobs are modeled as chains, with nodes representing tasks, and edges representing precedence constraints among tasks. In our proposed model, motivated by significant communication costs in dispersed computing environments, the communication times are taken into account. More specifically, we consider a network where servers are capable of serving all task types, and sending the results of processed tasks from one server to another server results in some communication delay that makes the design of optimal scheduling policy significantly more challenging than classical queueing networks. As the main contributions of the paper, we first characterize the capacity region of the network, then propose a novel virtual queueing network encoding the state of the network. Finally, we propose a Max-Weight type scheduling policy, and considering the virtual queueing network in the fluid limit, we use a Lyapunov argument to show that the policy is throughput-optimal.

연구 동기 및 목표

• 통신 지연과 지연 비용을 명시적으로 모델링하여 산산이 흩어진 컴퓨팅에서 높은 통신 및 지연 비용 문제를 해결한다.
• 이질적인 계산 및 통신 자원을 갖춘 네트워크의 용량 영역(capacity region)을 규명한다.
• 작업 의존성과 서버 간 데이터 전송 지연을 고려한 통과량 최적 스케줄링 정책을 설계한다.
• 부모 작업의 데이터가 자식 작업 처리를 위해 동일한 서버로 전송되도록 보장하는 논리적 의존성 제약 조건이 있는 방향성 있는 비순환 그래프(DAG)로 프레임워크를 확장한다.
• 방송 기반의 DAG 스케줄링을 위한 가상 대기열 네트워크 모델을 개발하여 데이터 공재성(data co-location)을 보장하고 통과량 최적성을 달성한다.

제안 방법

• 작업 처리 및 데이터 라우팅 결정의 상태를 인코딩하는 가상 대기열 네트워크로 산산이 흩어진 컴퓨팅 네트워크를 모델링한다.
• 가상 대기열 백로그의 가중합을 최대화하도록 조치를 선택하는 최대 무게(Max-Weight) 스케줄링 정책을 도입하며, 대기열 길이를 가중치로 사용한다.
• 유체 근사에서 리아푸노프 드리프트(lyapunov drift) 추론을 적용하여, 도착률이 용량 영역 내에 있을 경우 최대 무게 정책이 시스템을 안정화함을 증명한다.
• DAG 스케줄링을 위해 서버가 항상 처리된 데이터를 방송하는 방식의 가상 대기열 모델을 설계하여, 의존 작업에 대한 데이터 공재성을 보장한다.
• 가상 네트워크 내에서 가능한 작업 처리 및 통신 조치를 나타내기 위해 수정된 서비스 속도 행렬 D와 할당 벡터 z를 사용한다.
• 도착률이 용량 영역 내에 있을 경우 유체 모델의 리아푸노프 드리프트가 음의 정부호(negative definite)임을 보여줌으로써 통과량 최적성을 증명한다.

실험 결과

연구 질문

• RQ1 통신 지연과 이질적인 서버를 갖는 산산이 흩어진 컴퓨팅 네트워크의 용량 영역은 무엇인가?
• RQ2 통신 지연과 작업 의존성이 존재하는 상황에서 통과량 최적성을 달성할 수 있는 스케줄링 정책은 어떻게 설계할 수 있는가?
• RQ3 통신 인지 스케줄링은 시스템 안정성과 작업 완료 지연에 어떤 영향을 미치는가?
• RQ4 방송 네트워크에서 통신 제약 조건 하에 DAG 워크로드의 논리적 의존성은 어떻게 유지할 수 있는가?
• RQ5 계산 및 통신 동역학을 모두 모델링하는 가상 대기열 네트워크에서 최대 무게 정책이 통과량 최적성임을 증명할 수 있는가?

주요 결과

• 네트워크의 용량 영역은 안정적인 스케줄링 정책이 존재하는 모든 도착률 벡터의 집합으로 규명된다.
• 제안된 가상 대기열 네트워크는 작업 의존성과 데이터 라우팅 결정을 포함한 시스템 상태를 정확하게 인코딩한다.
• 유체 근사에서 리아푸노프 드리프트 추론을 통해 최대 무게 정책이 통과량 최적임을 증명하였으며, 이는 용량 영역 내 모든 도착률에 대해 시스템 안정성을 보장한다.
• DAG 워크로드의 경우 방송 기반 가상 대기열 모델이 부모 작업의 데이터가 자식 작업 처리를 위한 동일한 서버로 전송되도록 보장하여 논리적 의존성 문제를 해결한다.
• 유체 모델 분석 결과, 도착률이 용량 영역 내부에 있을 경우 리아푸노프 드리프트가 음의 정부호임을 보여주며, 이는 기본 마르코프 체인의 양의 재귀성(positive recurrence)을 의미한다.
• 방송 기반 환경에서 일반적인 DAG에 대해 프레임워크를 확장하였으며, 최대 무게 정책은 통신 및 의존성 제약 조건에도 불구하고 통과량 최적성을 유지한다.