[논문 리뷰] CPU Scheduling in Data Centers Using Asynchronous Finite-Time Distributed Coordination Mechanisms

Andreas Grammenos, Themistoklis Charalambous외 1명|arXiv (Cornell University)|2021. 01. 15.

Distributed and Parallel Computing Systems인용 수 6

한 줄 요약

이 논문은 통신 지연이 존재하는 환경에서도 사전에 지정된 오차 범위 내에서 최적의 균형 잡힌 워크로드 분포로 수렴할 수 있도록, 강건한 비율 공감과 최대공감을 사용하는 이방향, 유한시간 분산 협업 알고리즘을 제안한다. 이 방법은 유한시간 수렴과 노드 간 동시 종료를 보장하며, 현실 세계의 네트워크 불확실성 하에서 중심집중식 및 반복적 방법보다 확장성과 반응성 면에서 뛰어나다.

ABSTRACT

We propose an asynchronous iterative scheme that allows a set of interconnected nodes to distributively reach an agreement within a pre-specified bound in a finite number of steps. While this scheme could be adopted in a wide variety of applications, we discuss it within the context of task scheduling for data centers. In this context, the algorithm is guaranteed to approximately converge to the optimal scheduling plan, given the available resources, in a finite number of steps. Furthermore, by being asynchronous, the proposed scheme is able to take into account the uncertainty that can be introduced from straggler nodes or communication issues in the form of latency variability while still converging to the target objective. In addition, by using extensive empirical evaluation through simulations we show that the proposed method exhibits state-of-the-art performance.

연구 동기 및 목표

• 대규모 데이터 센터에서의 중심집중식 CPU 스케줄링의 확장성과 신뢰성 문제를 해결하기 위해.
• 이방향 업데이트와 유한한 통신 지연이 존재하는 환경에서도 유한시간 내에 수렴하는 분산 협업 메커니즘을 설계하기 위해.
• 모든 노드에서 반복 계산의 동시에 종료를 가능하게 하면서도 사전에 지정된 오차 경계 내에서 수렴을 유지하기 위해.
• 서버의 CPU 용량에 기반하여 이질적인 서버 간 최적의 워크로드 균형을 달성하여 총 활용도 분산을 최소화하기 위해.
• 특히 동적 실시간 스케줄링에 적합한 복잡한 해법(예: ADMM)에 비해 확장성과 저비용을 제공하는 대안을 마련하기 위해.

제안 방법

• 각 노드가 두 개의 상태 변수를 유지하고 그 비율이 전역 상수로 수렴하는 강건한 비율 공감 기반 분산 반복 기법을 사용한다.
• 이방향 업데이트와 유한한 수렴을 보장하기 위해 이방향 최대공감 메커니즘을 통합한다.
• 계획 단계에서 통신 링크의 유한한 시간에 따라 변하는 지연을 명시적 입력으로 사용하여 네트워크 잡음과 느린 노드에 대한 내성성을 확보한다.
• 전체 최적화 문제를 국소 목표로 분해하여 각 노드가 국소 정보와 이웃 간 교환 정보만을 사용해 최적의 워크로드 할당을 계산할 수 있도록 한다.
• 완전한 동기화가 아닌 시계 패딩 기반의 패딩 메커니즘을 구현하여 매 (1 + τ̂)D 반복마다 수렴 검사를 조율한다.
• 최악의 경우 오차가 사전에 경계가 설정된 유한시간 종료를 보장하여 예측 가능하고 효율적인 스케줄링 주기를 가능하게 한다.

실험 결과

연구 질문

• RQ1 유한한 통신 지연이 존재하는 환경에서 이방향 분산 알고리즘이 유한시간 수렴을 달성할 수 있는가?
• RQ2 전체 조율나 또는 동기화된 시계 없이 분산된 노드들이 최적의 워크로드 분포에 합의에 도달할 수 있는가?
• RQ3 네트워크 지름과 지연 변동성이 분산 스케줄링의 수렴 속도와 정확성에 미치는 영향은 무엇인가?
• RQ4 제안된 방법이 수렴 속도와 자원 효율성 면에서 중심집중식 또는 반복적 해법(예: ADMM)을 능가할 수 있는가?
• RQ5 실제 데이터 센터 환경에서 느린 노드와 동적 워크로드 변화에 알고리즘이 어떻게 대응하는가?

주요 결과

• 제안된 알고리즘은 유한한 시간에 따라 변하는 지연과 이방향 업데이트가 존재하는 환경에서도 사전에 지정된 오차 경계 내에서 최적의 스케줄링 계획으로 유한시간 수렴을 달성한다.
• 실험적 평가 결과, 수렴 속도와 시스템 활용도 면에서 최신 기술 수준의 성능을 보이며, 중심집중식 및 반복적 방법을 능가한다.
• 완전한 동기화가 아닌 시계 패딩 기반의 패딩 메커니즘을 통해 모든 노드에서 동시에 종료를 보장한다.
• 기존 연구에서 발견된 단조성 가정 위반에 대해서도 알고리즘이 내성성을 유지함을 보여주는 반례를 통해 입증되었다. 특히 중간 지름과 높은 지연을 가진 네트워크에서 유의미하다.
• 닫힌 형태의 해가 존재하기 때문에 ADMM 및 유사한 해법보다 빠른 수렴이 가능하며, 특히 대규모 환경에서 유리하다.
• 마이크로그리드 주파수 조절 및 전압 제어와 같은 이방향, 유한시간 분산 협업이 필요한 다른 분야로도 일반화 가능하다.