[논문 리뷰] GCNScheduler: Scheduling Distributed Computing Applications using Graph Convolutional Networks

Mehrdad Kiamari, Bhaskar Krishnamachari|arXiv (Cornell University)|2021. 10. 22.

Advanced Graph Neural Networks참고 문헌 37인용 수 4

한 줄 요약

GCNScheduler는 분산 시스템에서 빠르고 확장 가능한 작업 스케줄링을 가능하게 하기 위해 작업 그래프 의존성과 네트워크 자원 특성을 통합된 입력 그래프로 통합한 그래프 컬러션 네트워크(GCN)-기반 스케줄러를 제안한다. 이는 HEFT 및 TP-HEFT와 같은 최첨단 휴리스틱 기반 스케줄링 성능을 유사하게 유지하면서도 스케줄링 시간을 수십만 배 이상 단축시킨다. 예를 들어, 50개 노드 그래프에 대해 4ms의 스케줄링 시간을 기록한 반면, HEFT는 1500초가 소요된다.

ABSTRACT

We consider the classical problem of scheduling task graphs corresponding to complex applications on distributed computing systems. A number of heuristics have been previously proposed to optimize task scheduling with respect to metrics such as makespan and throughput. However, they tend to be slow to run, particularly for larger problem instances, limiting their applicability in more dynamic systems. Motivated by the goal of solving these problems more rapidly, we propose, for the first time, a graph convolutional network-based scheduler (GCNScheduler). By carefully integrating an inter-task data dependency structure with network settings into an input graph and feeding it to an appropriate GCN, the GCNScheduler can efficiently schedule tasks of complex applications for a given objective. We evaluate our scheme with baselines through simulations. We show that not only can our scheme quickly and efficiently learn from existing scheduling schemes, but also it can easily be applied to large-scale settings where current scheduling schemes fail to handle. We show that it achieves better makespan than the classic HEFT algorithm, and almost the same throughput as throughput-oriented HEFT (TP-HEFT), while providing several orders of magnitude faster scheduling times in both cases. For example, for makespan minimization, GCNScheduler schedules 50-node task graphs in about 4 milliseconds while HEFT takes more than 1500 seconds; and for throughput maximization, GCNScheduler schedules 100-node task graphs in about 3.3 milliseconds, compared to about 6.9 seconds for TP-HEFT.

연구 동기 및 목표

• HEFT 및 TP-HEFT와 같은 전통적 휴리스틱 스케줄러의 확장성 한계를 해결한다. 이는 고도의 계산 오버헤드로 인해 대규모 작업 그래프에 대해 실현 가능하지 않기 때문이다.
• IoT 및 엣지-클라우드 시스템과 같은 동적 분산 환경에서 복잡하고 자주 재스케줄링되는 작업 그래프를 고려해 실시간 스케줄링을 가능하게 한다.
• 그래프 신경망을 활용해 작업 간 의존성과 네트워크 이질성을 동시에 모델링하여 작업 그래프 내에서 구조적이고 성능 인식 가능한 관계를 포괄한다.
• 최적화 품질을 희생시키지 않은 채 스케줄링 효율성을 높이며, 특히 완료 시간 최소화 및 처리량 최대화 목표에서 뛰어난 성능을 달성한다.
• 합성 및 실제 인식 애플리케이션을 포함한 다양한 워크로드에 걸쳐 일반화 능력을 입증함으로써 탄탄함과 실용성을 입증한다.

제안 방법

• 작업 노드(실행 비용 특성 포함), 통신 엣지(대역폭 및 지연 시간 특성 포함), 컴퓨팅 머신 노드(처리 속도 특성 포함)를 포함하는 이질적 입력 그래프를 구축한다.
• 메시지 전달을 통해 이웃 정보를 집계하는 공간 기반 그래프 컬러션 네트워크(GCN)를 적용하여 작업별 노드 임베딩을 생성한다.
• ReLU 활성화 함수와 선형 변환을 사용한 다층 GCN을 활용해 입력 그래프 표현에서 작업-머신 할당 정책을 학습한다.
• HEFT 및 TP-HEFT의 정답 스케줄링 결과를 지도 신호로 사용해 GCN을 엔드 투 엔드로 훈련한다.
• 완료 시간 최소화(HEFT 지도 신호 기반) 및 처리량 최대화(TP-HEFT 지도 신호 기반)의 두 목표를 최적화하며, 별도의 훈련 파이프라인을 운영한다.
• 각 작업에 대한 머신 할당 확률 분포를 출력하기 위해 최종 GCN 임베딩에 소프트맥스 레이어를 적용하여 미분 가능하고 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GCN 기반 스케줄러는 HEFT 및 TP-HEFT와 유사한 스케줄링 성능을 달성하면서도 스케줄링 시간을 크게 단축시킬 수 있는가?
• RQ2 GCNScheduler는 소규모에서 대규모 그래프(예: 최대 5,000개 작업)에 걸쳐 얼마나 잘 일반화되는가?
• RQ3 실제 응용 분야인 얼굴 인식 및 제스처 인식과 같은 분야에서 GCNScheduler는 높은 처리량과 낮은 완료 시간을 얼마나 잘 유지하는가?
• RQ4 기존 스케줄러 대비 GCNScheduler의 추론 속도는 작업 그래프 복잡도 증가에 따라 어떻게 변화하는가?
• RQ5 GCN 모델은 휴리스틱 기반 스케줄러에서 효과적으로 학습하여 재훈련 없이도 예측되지 않은 작업 그래프에 일반화할 수 있는가?

주요 결과

• 완료 시간 최소화의 경우, GCNScheduler는 약 50개 노드의 작업 그래프를 약 4ms 내로 스케줄링하며, HEFT의 경우 1500초 이상 소요되어 375배의 속도 향상을 기록한다.
• 처리량 최대화의 경우, GCNScheduler는 100개 노드의 작업 그래프를 3.3ms 내로 스케줄링하며, TP-HEFT의 경우 6.9초가 소요되어 2,100배의 속도 향상을 달성한다.
• 대규모 환경(예: 3,500~5,000개 작업)에서는 GCNScheduler가 90ms 이내로 스케줄링을 완료하지만, TP-HEFT는 과도한 실행 시간으로 인해 실현 불가능하다.
• 실제 인식 애플리케이션(얼굴, 자세, 제스처 인식)에서 GCNScheduler는 TP-HEFT보다 약간 높은 처리량 성능를 기록하며, 스케줄링 시간은 2~3개 주기 만큼 단축된다.
• 기본 테스트 그래프에서 GCNScheduler는 약 95%의 스케줄링 정확도를 달성하여 강력한 일반화 능력과 신뢰성을 입증한다.
• 실제 인식 워크로드에서 GCNScheduler는 TP-HEFT의 87~290ms에서 0.488~0.560ms로 스케줄링 시간을 단축시켜 실시간 시스템에서의 실용성을 입증한다.