[논문 리뷰] Robust Scheduling for Flexible Processing Networks

Ramtin Pedarsani, Jean Walrand외 1명|arXiv (Cornell University)|2016. 10. 12.

Advanced Wireless Network Optimization참고 문헌 17인용 수 3

한 줄 요약

이 논문은 도착률이나 서비스률에 대한 사전 지식이 없이도 실시간 큐 길이 변화를 기반으로 한 확률적 경사 하강 투영을 사용하여 유연한 처리 네트워크에 대한 강인한 스케줄링 프레임워크를 제안한다. 이 방법은 약한 조건 하에서 융통성 있는 포크-조인 및 큐잉 네트워크에서 비율 안정성을 보장하며, 오직 실시간 큐 상태 정보만을 사용하여 최적의 자원 균형을 달성한다.

ABSTRACT

Modern processing networks often consist of heterogeneous servers with widely varying capabilities, and process job flows with complex structure and requirements. A major challenge in designing efficient scheduling policies in these networks is the lack of reliable estimates of system parameters, and an attractive approach for addressing this challenge is to design robust policies, i.e., policies that do not use system parameters such as arrival and/or service rates for making scheduling decisions. In this paper, we propose a general framework for the design of robust policies. The main technical novelty is the use of a stochastic gradient projection method that reacts to queue-length changes in order to find a balanced allocation of service resources to incoming tasks. We illustrate our approach on two broad classes of processing systems, namely the flexible fork-join networks and the flexible queueing networks, and prove the rate stability of our proposed policies for these networks under non-restrictive assumptions.

연구 동기 및 목표

• 데이터 센터, 헬스케어 시스템, 제조 라인과 같은 대규모 처리 네트워크에서 도착률이나 서비스률과 같은 신뢰성 없거나 알려지지 않은 시스템 파라미터 문제를 해결하기 위해.
• 추정된 파라미터가 아닌 관측 가능한 시스템 상태(예: 큐 크기)에만 의존하는 스케줄링 정책을 설계하여 적응성과 강인성을 향상시키기 위해.
• 겹치는 서버 능력과 상호의존적인 작업 워크플로우를 가진 유연한 처리 네트워크에 일반적이고 파라미터 없는 프레임워크를 개발하기 위해.
• 비제한적인 가정 하에 제안된 정책의 비율 안정성을 증명하여 장기적인 시스템 효율성과 확장성을 보장하기 위해.

제안 방법

• 시간 간격 동안 큐 길이 변화에 기반해 서비스 할당을 업데이트하는 확률적 경사 하강 투영 방법을 사용한다.
• 재귀적 업데이트 규칙을 적용: $ p^{n+1} = [p^n + \beta^n \tilde{E}^n (I - R^T)^{-1} \Delta Q^n]_{\mathcal{C}_{\varepsilon_0}} $, 여기서 $ \tilde{E}^n $ 은 비어 있지 않은 큐를 나타낸다.
• 큐 길이의 변화인 $ \Delta Q^n $ 을 사용해 효과적 서비스와 수요 간의 불균형을 추정하며, $ Q_k^n > 0 $ 일 때 $ \nu_k - \mu_k p_k^n $ 의 불편향 추정량으로 기능한다.
• 안정성 유지와 수렴 보장을 위해 탈출 가능 영역 $ \mathcal{C}_{\varepsilon_0} $ 으로의 투영을 구현한다.
• 라우팅 행렬 $ R $ 과 $ (I - R^T)^{-1} $ 의 구조를 활용해 네트워크 전반에 걸쳐 큐 변화를 전파하고 유량 불균형을 추정한다.
• 도착률, 서비스률, 라우팅 확률과의 의존성을 피하기 위해 현재 및 과거 큐 크기만을 기반으로 한다.

실험 결과

연구 질문

• RQ1 유연한 처리 네트워크에서 도착률이나 서비스률에 대한 지식이 없이도 시스템 안정성을 보장하는 스케줄링 정책을 설계할 수 있는가?
• RQ2 큐 길이 관측값만을 사용해 경쟁하는 큐들 간에 서비스 용량을 적응적으로 할당할 수 있는가?
• RQ3 유연한 포크-조인 및 큐잉 네트워크에서 확률적 경사 기반 정책이 균형 잡힌 할당으로 수렴하기 위한 조건은 무엇인가?
• RQ4 서비스률이 알려지지 않았거나 시간에 따라 변동하는 경우에도 국소 큐 상태 정보만으로 비율 안정성을 달성할 수 있는가?
• RQ5 제안된 방법을 인수분해 불가능한 서비스률 또는 비협력적 서버를 가진 네트워크로 일반화할 수 있는가?

주요 결과

• 제안된 강인한 스케줄링 정책은 서비스 할당 벡터 $ p^n $ 이 최적 할당 $ p^* = \nu_k / \mu_k $ 로 거의 확실히 수렴함을 보장하며, 이는 네트워크 전반의 유량 수요 균형을 달성한다.
• 제안된 정책 하에서 융통성 있는 큐잉 네트워크는 비율 안정성을 달성한다. 즉, 모든 큐 $ k $ 에 대해 $ \lim_{n \to \infty} \frac{Q_k^n}{n} = 0 $ 이며, 이는 큐 크기가 선형보다 느리게 증가함을 의미한다.
• 알고리즘은 오직 큐 크기 변화 $ \Delta Q^n $ 과 라우팅 구조 $ R $ 만을 사용해 유량 불균형을 추정하므로 완전히 적응적이고 파라미터 없는 특성을 가진다.
• $ \tilde{E}^n $ 의 사용은 업데이트가 비어 있지 않은 큐들에만 적용되도록 보장하여 경사 추정기의 불편향 없음을 유지한다.
• 단순한 스텝 크기 수열 $ \beta^n $ 에 대한 약한 조건 하에서도 수렴성과 안정성 결과가 성립하며, 시스템 파라미터 지식이 필요하지 않다.
• 이 프레임워크는 일반적이며 클라우드 컴퓨팅, 제조, 헬스케어 시스템 등 복잡한 작업 의존성과 자원의灵活性를 가진 넓은 범위의 처리 네트워크에 적용 가능하다.