[논문 리뷰] On the Power of Centralization in Distributed Processing

Kuang Xu|arXiv (Cornell University)|2012. 03. 22.

Advanced Queuing Theory Analysis참고 문헌 14인용 수 3

한 줄 요약

이 논문은 분산 시스템에서 부분 중앙집중화의 성능 향상 정도를 정량화하는 다중 서버 대기열 모델을 제안한다. 유체 근사 분석을 통해, 교통 강도 λ→1일 때조차도, 중앙집중화 자원 할당 비율 p > 0일 경우, 안정 상태 대기열 길이의 스케일링이 O(1/(1−λ))에서 O(log(1/(1−λ)))로 감소함을 보여주며, 이는 순수 분산 시스템 대비 지수적 향상을 의미한다.

ABSTRACT

In this thesis, we propose and analyze a multi-server model that captures a performance trade-off between centralized and distributed processing. In our model, a fraction $p$ of an available resource is deployed in a centralized manner (e.g., to serve a most-loaded station) while the remaining fraction $1-p$ is allocated to local servers that can only serve requests addressed specifically to their respective stations. Using a fluid model approach, we demonstrate a surprising phase transition in the steady-state delay, as $p$ changes: in the limit of a large number of stations, and when any amount of centralization is available ($p>0$), the average queue length in steady state scales as $\log_{1/(1-p)} 1/(1-λ)$ when the traffic intensity $λ$ goes to 1. This is exponentially smaller than the usual M/M/1-queue delay scaling of $1/(1-λ)$, obtained when all resources are fully allocated to local stations ($p=0$). This indicates a strong qualitative impact of even a small degree of centralization. We prove convergence to a fluid limit, and characterize both the transient and steady-state behavior of the finite system, in the limit as the number of stations $N$ goes to infinity. We show that the sequence of queue-length processes converges to a unique fluid trajectory (over any finite time interval, as $N$ approaches infinity, and that this fluid trajectory converges to a unique invariant state $v^I$, for which a simple closed-form expression is obtained. We also show that the steady-state distribution of the $N$-server system concentrates on $v^I$ as $N$ goes to infinity.

연구 동기 및 목표

• 대규모 시스템에서 중앙집중적 처리와 분산 처리 간의 성능 트레이드오프를 모델링하고 분석하기.
• 고부하 조건 하에서 부분 중앙집중화가 안정 상태 대기열 길이 스케일링에 끼치는 영향을 정량화하기.
• 조금의 중앙집중화(예: p > 0)가 지연 스케일링 행동에 단서 전이를 유도함을 입증하기.

제안 방법

• 자원의 비율 p가 중앙집중적으로 할당되어 가장 부하가 높은 스테이션을 처리하고, 나머지 1−p는 현지에서 분산 처리되는 다중 서버 대기열 모델을 수립한다.
• 스테이션 수 N→∞의 극한에서 시스템을 분석하기 위해 유체 근사 접근법을 적용한다.
• 고유한 유체 궤적을 도출하여 안정 상태 불변 상태 v^I로 수렴하며, 이는 닫힌 형태의 표현식을 갖는다.
• 커플링 기법과 타이트니스 추론을 사용하여 유한 시스템의 대기열 길이 과정이 유체 근사로 수렴함을 증명한다.
• 안정 상태 분포가 유체 불변 상태로 수렴하는 균일 수렴 속도를 확립한다.
• 안정 상태 대기열 길이 추정을 위한 내장 샘플링 기반 이산 시간 마르코프 체인의 시뮬레이션을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 자원의 소수 비율 p > 0이 중앙집중적으로 할당될 경우, 교통 강도 λ가 1에 수렴할 때 안정 상태 대기열 길이는 어떻게 스케일링되는가?
• RQ2 중앙집중화가 대규모 분산 시스템의 지연 스케일링에 미치는 정성적 및 정량적 영향은 무엇인가?
• RQ3 p가 0에서 임의의 양수 값으로 증가함에 따라 성능에 단서 전이가 나타나는가?
• RQ4 N→∞일 때 유한 N 시스템의 안정 상태 분포가 유체 근사로 집중되는가?
• RQ5 안정 상태 분포가 유체 불변 상태로 수렴하는 속도는 무엇인가?

주요 결과

• p > 0일 경우, λ→1일 때 안정 상태 평균 대기열 길이가 log_{1/(1−p)}(1/(1−λ))로 스케일링되며, 이는 p=0일 때의 O(1/(1−λ)) 스케일링보다 지수적으로 작다.
• 시스템의 유체 근사가 고유한 불변 상태 v^I로 수렴하며, 이는 단순한 닫힌 형태의 표현식을 갖는다.
• 유한 시스템의 대기열 길이 과정이 N→∞일 때 임의의 유한 시간 영역에서 유체 궤적으로 수렴한다.
• N-서버 시스템의 안정 상태 분포가 N→∞일 때 유체 불변 상태 v^I로 집중된다.
• 안정 상태 분포가 v^I로 수렴하는 과정은 초기 조건에 관계없이 균일하며, 모든 p > 0에 대해 타이트하다.
• 시뮬레이션 결과는 이론적 예측를 확인한다: p=0.05이고 λ=0.99일 경우, p=0인 경우에 비해 평균 대기열 길이가 극적으로 감소한다.