[논문 리뷰] Finishing Flows Quickly with Preemptive Scheduling

Chi-Yao Hong, Matthew Caesar외 1명|arXiv (Cornell University)|2012. 06. 10.

Cloud Computing and Resource Management인용 수 16

한 줄 요약

PDQ는 데이터 센터에서 흐름 완료 시간과 마감 시간 위반을 최소화하기 위해 동적으로 가장 짧은 작업 우선(SJF) 및 가장 빠른 마감일 우선(EDF) 스케줄링을 사용해 흐름의 우선순위를 조정하는 분산형, 선점형 흐름 스케줄링 프로토콜이다. PDQ는 TCP, RCP, D3보다 평균 흐름 완료 시간을 최대 30% 낮추며, 마감 시간 제약 조건 하에서 동시 전송자를 3배 더 지원한다.

ABSTRACT

Today's data centers face extreme challenges in providing low latency. However, fair sharing, a principle commonly adopted in current congestion control protocols, is far from optimal for satisfying latency requirements. We propose Preemptive Distributed Quick (PDQ) flow scheduling, a protocol designed to complete flows quickly and meet flow deadlines. PDQ enables flow preemption to approximate a range of scheduling disciplines. For example, PDQ can emulate a shortest job first algorithm to give priority to the short flows by pausing the contending flows. PDQ borrows ideas from centralized scheduling disciplines and implements them in a fully distributed manner, making it scalable to today's data centers. Further, we develop a multipath version of PDQ to exploit path diversity. Through extensive packet-level and flow-level simulation, we demonstrate that PDQ significantly outperforms TCP, RCP and D3 in data center environments. We further show that PDQ is stable, resilient to packet loss, and preserves nearly all its performance gains even given inaccurate flow information.

연구 동기 및 목표

• TCP와 같은 공정 공유 전송 프rotocol로 인해 현대 데이터 센터에서 흐름 완료 시간이 나쁘고 마감 시간 위반이 높은 문제를 해결한다.
• 중앙 집중식 스케줄링의 한계를 극복하기 위해 전역 상태 지식 없이도 분산형, 확장 가능한 흐름 우선순위 조정을 가능하게 한다.
• 선점 기능을 지원하는 경량의 분산 프로토콜을 설계하여 동적으로 높은 우선순위 흐름에 대역폭을 재할당한다.
• 기존 네트워크 인fra구조와 호환되면서도 중앙 집중식 실시간 스케줄러 수준의 저지연 시간 성능을 달성한다.
• 흐름 크기 및 마감 시간 추정의 부정확성에 대한 강건성을 입증하고, 실제 데이터 센터 워크로드 하에서의 성능을 평가한다.

제안 방법

• 스위치들이 중앙 집중식 제어 없이 협동적으로 흐름 워크로드 정보를 수집하고 할당 결정에 수렴하는 분산 알고리즘을 구현한다.
• 스케줄링 메타데이터를 전달하기 위해 4개 필드(R_H, P_H, D_H, T_H)를 가진 수정된 IP 헤더를 사용하여 흐름 별 우선순위 및 선점 신호를 지원한다.
• 응용 프로그램이 흐름 마감 시간과 크기를 지정하거나 암시적으로 추정할 수 있도록 최소한의 엔드 호스트 변경으로 가능한 쉘레이어를 도입한다.
• 높은 우선순위 흐름이 낮은 우선순위 흐름을 중단할 수 있도록 분산 선점을 가능하게 하며, 빠른 전환 및 死록 방지를 보장한다.
• 흐름을 서브플로우로 분할하여 다중 경로 운영을 지원함으로써 경로 다양성을 통해 신뢰성과 성능을 향상시킨다.
• SJF 또는 EDF 기준에 따라 동적으로 흐름 순서를 재정렬하는 우선순위 기반 스케줄링 엔진을 사용하며, 상위-κ 흐름에 대해 O(κ)의 패킷당 처리 복잡도를 제공한다.

실험 결과

연구 질문

• RQ1 완전히 분산형, 선점형 스케줄링 프로토콜인 PDQ는 TCP와 같은 공정 공유 프로토콜에 비해 데이터 센터 네트워크에서 평균 흐름 완료 시간을 크게 감소시킬 수 있는가?
• RQ2 선점 스케줄링은 지연 시간에 민감한 워크로드에서 비선점 기반 접근 방식인 D3에 비해 마감 시간을 위반하는 흐름의 수를 줄일 수 있는가?
• RQ3 흐름 크기 및 마감 시간 정보의 부정확하거나 추정된 경우 PDQ는 성능을 유지할 수 있는가? 이러한 상황에서도 성능 향상이 지속되는가?
• RQ4 다중 경로 흐름 분할이 PDQ 기반 스케줄링에서 성능과 신뢰성을 얼마나 더 향상시킬 수 있는가?
• RQ5 기존 데이터 센터 스위치에서 최소한의 하드웨어 및 소프트웨어 변경으로 PDQ를 효율적으로 구현할 수 있는가?

주요 결과

• PDQ는 다양한 데이터 센터 워크로드와 토폴로지에서 TCP, RCP, D3에 비해 평균 흐름 완료 시간을 약 30% 감소시킨다.
• PDQ는 마감 시간 제약 조건 하에서 D3보다 최대 3배 더 많은 동시 전송자를 지원하며, 마감 시간 준수 조건 하에서 뛰어난 확장성을 입증한다.
• 흐름 크기 또는 마감 시간 추정의 부정확성에도 불구하고 PDQ는 거의 모든 성능 향상을 유지하며, 입력 불확실성에 강건함을 보인다.
• 프로토콜은 패킷 손실에 안정적이고 안정적인 성능을 유지하며, 실제 네트워크 조건 하에서도 성능 저하가 최소한이다.
• PDQ의 다중 경로 버전(M-PDQ)은 경로 다양성을 활용하여 추가적인 성능 향상과 신뢰성 향상을 달성한다.
• PDQ의 분산 설계 덕분에 상위-κ 흐름에 대해 O(κ) 복잡도의 효율적인 패킷당 처리가 가능하여 대규모 데이터 센터에서 확장 가능하고 실용적이다.