[논문 리뷰] Non-Asymptotic Delay Bounds for Multi-Server Systems with Synchronization Constraints

Markus Fidler, Brenton Walker외 1명|arXiv (Cornell University)|2016. 10. 20.

Advanced Queuing Theory Analysis참고 문헌 36인용 수 5

한 줄 요약

이 논문은 최대-합 서버 모델을 제안하여 동기화 제약 조건이 있는 다중 서버 분할-병합 시스템의 비점근적 통계적 지연 bound를 유도한다. 이는 h개의 단계와 k개의 병렬 서버를 가질 경우 종단 간 지연이 $\mathcal{O}(h\ln k)$로 증가함을 보여주며, Spark 및 Hadoop와 같은 다단계 데이터 처리 시스템의 엄밀한 성능 분석을 가능하게 한다. 일반적인 도착 및 서비스 과정 하에서 분할-병합 구성이 일반적으로 고전적 다중 서버 설정보다 우수함을 드러낸다.

ABSTRACT

Multi-server systems have received increasing attention with important implementations such as Google MapReduce, Hadoop, and Spark. Common to these systems are a fork operation, where jobs are first divided into tasks that are processed in parallel, and a later join operation, where completed tasks wait until the results of all tasks of a job can be combined and the job leaves the system. The synchronization constraint of the join operation makes the analysis of fork-join systems challenging and few explicit results are known. In this work, we model fork-join systems using a max-plus server model that enables us to derive statistical bounds on waiting and sojourn times for general arrival and service time processes. We contribute end-to-end delay bounds for multi-stage fork-join networks that grow in $\mathcal{O}(h \ln k)$ for $h$ fork-join stages, each with $k$ parallel servers. We perform a detailed comparison of different multi-server configurations and highlight their pros and cons. We also include an analysis of single-queue fork-join systems that are non-idling and achieve a fundamental performance gain, and compare these results to both simulation and a live Spark system.

연구 동기 및 목표

• 빅데이터 프레임워크인 Spark 및 Hadoop와 같이 일반적인 동기화 제약 조건이 있는 다중 서버 시스템의 종단 간 지연 분석 과제를 해결하기 위해.
• 점근적 또는 근사 기반 방법의 한계를 극복하기 위해 일반적인 도착 및 서비스 과정에 적용 가능한 통계적 지연 bound 프레임워크를 개발하기 위해.
• 동기화 제약 조건 하에서 분할-병합, 단일 큐, 고전적 다중 서버 시스템을 포함한 다양한 다중 서버 구성 간의 지연 성능을 비교하기 위해.
• 비독립 동일분포가 아닌 서비스 시간을 포함하고 다단계 네트워크에서의 지연 스케일링 행동을 증명함으로써 이전 연구를 확장하기 위해.

제안 방법

• 동기화 제약 조건을 표현하고 조합적 분석을 가능하게 하기 위해 분할-병합 시스템을 최대-합 서버 모델로 모델링한다.
• 모멘트 생성 함수(MGF) 기법과 초마르팅게일 추론을 적용하여 대기 시간 및 체류 시간의 尾 확률 bound를 유도한다.
• Chernoff의 부등식과 음이항급수 추정을 사용하여 다단계 네트워크에서 종단 간 지연의 MGF를 bound한다.
• 단계 간 통계적 독립성을 활용하여 h개의 단계와 k개의 병렬 서버에 대해 날카로운 $\mathcal{O}(h\ln k)$ 지연 스케일링을 도출한다.
• 일반적인 트래픽과 서비스 과정 하에서 분할-병합 시스템에 대한 서비스 커브 특성화를 도입한다.
• 시뮬레이션 및 실시간 Spark 배포와의 비교를 통해 결과를 검증한다. 이는 이론적 bound를 확인한다.

실험 결과

연구 질문

• RQ1 k개의 병렬 서버와 h개의 단계를 가진 다단계 분할-병합 네트워크에서 종단 간 지연은 어떻게 스케일링되는가?
• RQ2 일반적인 도착 및 서비스 과정, 비독립 동일분포가 아닌 서비스 시간을 포함하여 분할-병합 시스템의 통계적 지연 bound는 무엇인가?
• RQ3 동기화 제약 조건 하에서 분할-병합, 단일 큐, 고전적 다중 서버 시스템 등의 다양한 다중 서버 구성 간의 지연 성능은 어떻게 비교되는가?
• RQ4 최대-합 서버 모델을 사용하여 통계적 독립성에 기반한 다단계 네트워크에서 비점근적 지연 bound를 도출할 수 있는가?
• RQ5 분할-병합 시스템에서 작업 복제와 로드 밸런싱의 성능 영향은 표준 구성과 비교하여 어떠한가?

주요 결과

• h단계 다중 서버 분할-병합 네트워크에서 종단 간 지연은 k가 단계당 병렬 서버 수일 때 $\mathcal{O}(h\ln k)$로 증가한다.
• 일반적이고 비독립 동일분포가 아닌 서비스 과정 하에서 분할-병합 시스템은 대부분의 구성에서 고전적 다중 서버 시스템을 능가한다.
• 단일 큐 분할-병합 시스템은 유휴 시간을 방지함으로써 근본적인 성능 향상을 달성하여 비유휴 구성보다 뛰어나다.
• 이전 연구에서 단계 간 독립성을 가정하지 않은 $\mathcal{O}(h\ln(hk))$ bound와 비교해 $\mathcal{O}(h\ln k)$ 지연 스케일링은 더 날카롭다.
• MGF 및 Chernoff 기법을 통해 도출된 이론적 지연 bound는 시뮬레이션과 실시간 Spark 배포 모두와 강한 일치를 보인다.
• 다중 경로 라우팅과 로드 밸런싱은 저~중간 이용률에서만 유익하며, 이 외에는 동기화 제약 조건으로 인해 재정렬 지연이 지배적이 된다.