[논문 리뷰] Non-clairvoyant Scheduling of Coflows

Akhil Bhimaraju, Debanuj Nayak외 1명|arXiv (Cornell University)|2020. 04. 13.

Cloud Computing and Resource Management참고 문헌 26인용 수 4

한 줄 요약

이 논문은 유량 크기 정보를 사전에 알지 못한 채 도착한 유량의 수와 입력-출력 포트 쌍 수만을 이용하여 작동하는 비순찰(non-clairvoyant) 알고리즘인 BlindFlow를 제안한다. 이 알고리즘은 가중치 합계 완료 시간을 최소화하기 위해 8p-근사 보장을 달성한다. 여기서 p는 각 코플로우가 사용하는 최대 입력-출력 포트 쌍 수이며, 이 상한은 인과적 정보만을 갖는 온라인 환경에서도 유지된다.

ABSTRACT

The coflow scheduling problem is considered: given an input/output switch with each port having a fixed capacity, find a scheduling algorithm that minimizes the weighted sum of the coflow completion times respecting the port capacities, where each flow of a coflow has a demand per input/output port, and coflow completion time is the finishing time of the last flow of the coflow. The objective of this paper is to present theoretical guarantees on approximating the sum of coflow completion time in the non-clairvoyant setting, where on a coflow arrival, only the number of flows, and their input-output port is revealed, while the critical demand volumes for each flow on the respective input-output port is unknown. The main result of this paper is to show that the proposed BlindFlow algorithm is $8p$-approximate, where $p$ is the largest number of input-output port pairs that a coflow uses. This result holds even in the online case, where coflows arrive over time and the scheduler has to use only causal information. Simulations reveal that the experimental performance of BlindFlow is far better than the theoretical guarantee.

연구 동기 및 목표

• 유량 요구량이 도착 시점에 알려지지 않은 비순찰 환경에서 코플로우 스케줄링 문제를 다루는 것.
• 유량 수와 포트 쌍 수와 같은 부분 정보만 제공될 때, 가중치 합계 완료 시간을 최소화하기 위한 이론적 근사 보장을 제공하는 것.
• 유량 크기 정보가 없음에도 불구하고 잘 작동하는 온라인 구현 가능한 알고리즘을 설계하는 것.
• 비순찰 코플로우 스케줄링에서 이론적 상한과 실증 성능 사이의 격차를 메우는 것.

제안 방법

• BlindFlow는 유량 크기 추정치에 의존하지 않고, 활성 유량 수와 포트 할당 정보를 기반으로 비율 할당 전략을 사용한다.
• 이론적 기반으로는 완화된 선형계획형식을 이용한 기본 스케줄을 기반으로 하며, 이에 시간 스케일링 인자 4p를 적용한 시간 스트레칭 스케줄링 방식을 사용한다.
• 유량의 진행 상황에 따라 동적으로 대역폭을 할당하여 포트 용량 제약 조건 하에 공정성과 진전을 보장한다.
• 핵심 요소로는 비순찰 환경에서 코플로우에 적합하게 수정된 CLAS(Least Attained Service) 원칙의 응용이다.
• 이론적 분석은 이중 적합 기법을 활용하며, 알고리즘의 성능을 순찰 가능한 오프라인 최적 해와 비교한다.
• 분석 과정에서 시간 스트레칭 기반 스케줄을 도입하고, 유량 비용을 전가하는 방식을 사용하여 근사 비율이 8p 이내임을 증명한다.

실험 결과

연구 질문

• RQ1 비순찰 코플로우 스케줄링 알고리즘이 순찰 가능한 오프라인 최적 해에 대해 상수 근사 비율을 달성할 수 있는가?
• RQ2 비순찰 환경에서 최대 입력-출력 포트 쌍 수 p에 따라 근사 비율은 어떻게 변화하는가?
• RQ3 이론적 상한에 비해 실질적으로는 기존 비순찰 휴리스틱보다 우수한 성능을 보이는가?
• RQ4 인과적 정보만을 갖는 온라인 환경에서 비순찰 코플로우 스케줄링에 대해 이론적 보장을 도출할 수 있는가?

주요 결과

• BlindFlow는 가중치 합계 완료 시간을 최소화하기 위해 8p-근사 비율을 확보한다. 여기서 p는 어떤 코플로우도 사용하는 최대 입력-출력 포트 쌍 수이다.
• 이론적 보장은 코플로우가 시간이 지남에 따라 도착하고 인과적 정보만 제공되는 온라인 환경에서도 유지된다.
• 합성 데이터와 실세계 Facebook MapReduce 추적 데이터를 대상으로 한 시뮬레이션 결과, BlindFlow의 실증 성능은 이론적 상한 8p보다 훨씬 뛰어나게 나타났다.
• 실세계 데이터에서 BlindFlow는 이론적으로 예측된 대로 p에 따라 성능 비율이 악화되지 않고, 순찰 가능한 하한에 훨씬 가까이 도달했다.
• 실제로 BlindFlow는 비순찰 휴리스틱 Aalo를 뛰어넘었으며, 일부 경우에선 Aalo가 略로 더 나은 성능를 보였지만, BlindFlow는 더 쉽게 구현하고 분석할 수 있었다.
• 분석 결과 이론적 상한이 느슨할 수 있으며, 실제 성능는 최악의 경우 보장보다 훨씬 우수하다는 것이 밝혀졌다.