[논문 리뷰] Decentralized Learning in Online Queuing Systems

Flore Sentenac, Étienne Boursier외 1명|arXiv (Cornell University)|2021. 06. 08.

Age of Information Optimization참고 문헌 33인용 수 6

한 줄 요약

이 논문은 통신 없이도 비율이 1을 초과할 경우 시스템 안정성을 보장하는, 온라인 대기열 시스템을 위한 최초의 탈중앙화 학습 알고리즘 ADeQuA를 제안한다. 이는 중앙집중식 성능을 달성함과 동시에 최소한의 협업을 통해 유한한 대기열 길이를 보장한다. 비율이 1을 초과할 경우 시스템 안정성을 보장하는 데에는 동기화된 시스템 파라미터 추정과 확률적 지배를 사용하며, no-regret 및 policy-regret 전략이 각각 비율이 2 이상 또는 e/(e−1) 이상일 때만 안정성을 확보할 수 있다는 한계를 극복한다.

ABSTRACT

Motivated by packet routing in computer networks, online queuing systems are composed of queues receiving packets at different rates. Repeatedly, they send packets to servers, each of them treating only at most one packet at a time. In the centralized case, the number of accumulated packets remains bounded (i.e., the system is extit{stable}) as long as the ratio between service rates and arrival rates is larger than $1$. In the decentralized case, individual no-regret strategies ensures stability when this ratio is larger than $2$. Yet, myopically minimizing regret disregards the long term effects due to the carryover of packets to further rounds. On the other hand, minimizing long term costs leads to stable Nash equilibria as soon as the ratio exceeds $\frac{e}{e-1}$. Stability with decentralized learning strategies with a ratio below $2$ was a major remaining question. We first argue that for ratios up to $2$, cooperation is required for stability of learning strategies, as selfish minimization of policy regret, a extit{patient} notion of regret, might indeed still be unstable in this case. We therefore consider cooperative queues and propose the first learning decentralized algorithm guaranteeing stability of the system as long as the ratio of rates is larger than $1$, thus reaching performances comparable to centralized strategies.

연구 동기 및 목표

• 비율이 2 이하인 탈중앙화 온라인 대기열 시스템에서 시스템 안정성을 달성하는 데 있어 열린 문제를 해결하기 위해.
• 비율이 2 이하일 경우 조차도 환경이 인내심 있는 손실 최소화 조건 하에서도 협업이 안정성에 필수적임을 보여주기 위해.
• 비율이 1을 초과할 경우 강한 안정성(유한한 대기열 길이)을 보장하는 탈중앙화 학습 알고리즘을 설계하고 분석하기 위해.
• 제안된 알고리즘 하에서 대기열 길이 모멘트에 대한 이론적 경계를 제공하기 위해.
• 실증적 비교를 통해 표준 no-regret 전략에 비해 협업 학습 접근 방식의 우수성을 검증하기 위해.

제안 방법

• 직접적인 통신 없이도 대기열이 시스템 파라미터(도착 및 서비스 속도)를 동기화된 라운드를 통해 추정할 수 있도록 하는 탈중앙화 알고리즘 ADeQuA를 제안한다.
• 정확한 파라미터 추정이 이루어지는 시점을 제한하는 정지시간 τ를 사용하여 신뢰할 수 있는 의사결정을 보장한다.
• 확률적 지배 논증을 통해 대기열 길이가 0에서 흡수되는 비대칭 랜덤 워크에 의해 확률적으로 지배됨을 보여준다.
• 정지시간 τ와 랜덤 워크에 대한 모멘트 경계를 적용하여 대기열 길이 모멘트에 다항식 경계를 도출한다.
• 대기열 길이의 성장을 제어하기 위해 농도 부등식과 커플링 논증을 조합한 새로운 분석 프레임워크를 도입한다.
• 정리 5를 통해 제안된 알고리즘 하에서 대기열 길이의 r차 모멘트가 시스템 파라미터에 대해 다항식으로 유계임을 이론적으로 보증한다.

실험 결과

연구 질문

• RQ1 서버 대기율 대비 도착율 비율이 2 이하일 경우, 대기열 간 통신 없이도 탈중앙화 학습 전략이 시스템 안정성을 달성할 수 있는가?
• RQ2 비율이 2 이하일 경우, 조차도 인내심 있는 손실 최소화 조건 하에서 탈중앙화 대기열 시스템의 안정성 확보를 위해 협업이 필수적인가?
• RQ3 비율이 1에 임의로 가까워지는 경우에도 탈중앙화 알고리즘이 강한 안정성(유한한 대기열 길이)을 보장할 수 있는가?
• RQ4 ADeQuA의 성능은 안정성과 대기열 길이 증가 측면에서 표준 no-regret 및 policy-regret 전략과 비교해 어떻게 되는가?
• RQ5 제안된 알고리즘 하에서 대기열 길이의 모멘트에 대한 이론적 경계는 무엇인가?

주요 결과

• ADeQuA는 총 서버 속도 대비 총 도착 속도 비율이 1을 초과하는 모든 시스템에서 강한 안정성—즉, 유한한 대기열 길이—를 보장한다.
• 대기열 길이의 r차 모멘트는 시스템 파라미터에 대해 다항식으로 유계이며, 구체적으로 O(KN (N^{5/2}K^{5/2}2^{5K^2}/(min(1,Kμ̄)λ̲Δ^5)^{5/4})^r)로 표현되며, 여기서 K는 대기열 수이고 N은 서버 수이다.
• 파라미터 추정을 위한 정지시간 τ의 모멘트는 유한하며, E[τ^r]는 유사한 다항식 표현으로 유계이다.
• 비율이 2 이하일 경우 정책 손실 최소화 전략조차도 안정성을 보장하지 못하므로, 이 영역에서는 협업이 필수적임을 시사한다.
• 실증적 비교 결과 ADeQuA가 no-regret 전략에 비해 안정성과 수렴 속도 면에서 뛰어나며, 특히 저속도 영역에서 두드러진 성능을 보인다.
• 분석을 통해 0에서 흡수되는 비대칭 랜덤 워크에 의한 확률적 지배가 ADeQuA 하에서 대기열 길이 성장을 제어하는 데 충분함을 입증한다.