[논문 리뷰] Blind Dynamic Resource Allocation in Closed Networks via Mirror Backpressure

Yash Kanoria, Pengyu Qian|arXiv (Cornell University)|2019. 03. 07.

Transportation and Mobility Innovations참고 문헌 55인용 수 13

한 줄 요약

이 논문은 유한한 공급 단위를 가진 폐쇄형 대기열 네트워크에서 수요 도착률을 알지 못한 채로도 동적으로 자원을 할당하는 데어블리지드(dynamic) 자원 할당 정책인 미러 배경압력(Mirror Backpressure, MBP)을 제안한다. 이 정책은 수요 도착률을 알지 못한 채로도 수요 유닛의 입장을 결정하고 자원을 할당하는 데 사용되는 농도 인식 점수 함수를 사용한다. MBP 정책은 진정한 도착률을 알고 있는 오라클 정책에 비해 최대 $O\left(\frac{K}{T} + \frac{1}{K} + \sqrt{\eta K}\right)$의 수익 손실을 입는다. 이 성능 보장은 유한한 $K$와 $T$에 대해서도 성립한다.

ABSTRACT

We study the problem of maximizing payoff generated over a period of time in a general class of closed queueing networks with a finite, fixed number of supply units which circulate in the system. Demand arrives stochastically, and serving a demand unit (customer) causes a supply unit to relocate from the ``origin'' to the ``destination'' of the customer. The key challenge is to manage the distribution of supply in the network. We consider general controls including customer entry control, pricing, and assignment. Motivating applications include shared transportation platforms and scrip systems. Inspired by the mirror descent algorithm for optimization and the backpressure policy for network control, we introduce a rich family of \emph{Mirror Backpressure} (MBP) control policies. The MBP policies are simple and practical, and crucially do not need any statistical knowledge of the demand (customer) arrival rates (these rates are permitted to vary in time). Under mild conditions, we propose MBP policies that are provably near optimal. Specifically, our policies lose at most $O(\frac{K}{T}+\frac{1}{K} + \sqrt{ηK})$ payoff per customer relative to the optimal policy that knows the demand arrival rates, where $K$ is the number of supply units, $T$ is the total number of customers over the time horizon, and $η$ is the demand process' average rate of change per customer arrival. An adaptation of MBP is found to perform well in numerical experiments based on data from ride-hailing.

연구 동기 및 목표

• 시간에 따라 변하는 도착률이 알려져 있지 않은 폐쇄형 대기열 네트워크에서 자원을 동적으로 할당하는 문제에 대응한다. 이 네트워크에서는 공급 단위가 순환하며 수요가 확률적으로 도착한다.
• 기존 정책들이 도착률을 완전히 알고 있어야 하는 제약 조건을 극복한다. 또한 시간에 따라 변하지 않는 파rameter를 가정하는 정책의 한계를 극복한다.
• 수요 과정의 통계적 지식 없이도 강력한 성능 보장을 유지하면서도 상태에 민감하지 않은 실용적인 제어 정책을 설계한다.
• 동적 가격 설정과 유연한 할당을 포함한 프레임워크를 확장하여 정책의 강건성과 적응성을 입증한다.
• 비점근적 성능 한계를 제공하여 일시적 및 안정 상태 모두에서 적용 가능한 실생활 시스템(예: 릭헤일링 플랫폼)에 적용 가능하다.

제안 방법

• 도착률을 알지 못한 채로도 수요 유닛을 수용할지 여부를 결정하는 미러 배경압력(Mirror Backpressure, MBP) 정책을 제안한다. 이 정책은 점수 기반 결정을 사용하며, $w_{jk} + f(\bar{q}_j[t]) - f(\bar{q}_k[t]) \geq 0$ 조건을 만족할 경우 수용한다. 여기서 $f$는 농도 함수이다.
• 특정한 농도 함수 $f(\bar{q}_j) = -\sqrt{m} \cdot \bar{q}_j^{-1/2}$를 사용하여, 거의 비어 있는 대기열에서는 공급을 보호하고, 긴 대기열에서는 자원 사용을 장려한다.
• 정규화된 대기열 길이 $\bar{\mathbf{q}}[t]$를 이중 변수로 간주하고, MBP 정책을 정적 계획 문제의 부분 이중 문제에 대해 수행하는 확률적 미러 강하(Stochastic Mirror Descent)로 해석한다.
• 표준 하향 강하(Gradient Descent)에서 비선형적이고 가역적인 미러 맵을 사용하는 미러 강하(Mirror Descent)로 배경압력의 일반화를 시도한다. 이 미러 맵은 농도 함수 $\mathbf{f}(\bar{\mathbf{q}})$에 의해 정의된다.
• 도착률에 대한 지식이 필요 없이 지역 대기열 상태와 사전에 정의된 함수 $f$만을 사용함으로써 정책이 단순하고 구현 가능하도록 보장한다.
• 수요 과정의 변화율($\eta$), 시스템 크기($K$), 시간 수평($T$)에 따라 정책의 수익 손실과의 관계를 분석함으로써 이론적 성능 보장을 수립한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 도착률을 사전에 알지 못한 채로도 폐쇄형 대기열 네트워크에서 최적에 가까운 성능을 달성할 수 있는 제어 정책이 존재하는가?
• RQ2 진정한 도착률을 알고 있는 오라클 정책에 비해 블라인드 정책의 성능은 얼마나 떨어지며, 이 격차는 유계로 유지될 수 있는가?
• RQ3 미러 강하를 활용하여 변화하는 네트워크 조건에 적응할 수 있는 동적 제어 정책을 설계할 수 있으며, 이 정책이 강력한 이론적 보장을 유지할 수 있는가?
• RQ4 네트워크의 연결성과 공급 분포는 블라인드 할당 정책의 성능에 어떤 영향을 미치는가?
• RQ5 농도 함수의 선택은 동적 시스템에서 공급 보호와 자원 활용 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• MBP 정책은 도착률을 완전히 알고 있는 최적 정책에 비해 최대 $O\left(\frac{K}{T} + \frac{1}{K} + \sqrt{\eta K}\right)$의 수익 손실을 입는다.
• 성능 보장은 점근적이지 않으며, 유한한 $K$와 $T$에 대해서도 성립하며, 일시적 및 안정 상태 행동 모두를 포함한다.
• 수요 도착률이 시간에 따라 변하더라도 MBP 정책은 증명된 바에 따라 최적에 가까운 성능을 보이며, 오차 항은 수요 과정의 평균 변화율 $\eta$에 따라 결정된다.
• MBP 정책는 시간에 따라 변하는 수요에 강건하며, 탐욕스럽고 상태에 민감하지 않은 정책들이 겪는 $\Omega(1)$의 최적성 격차를 피한다.
• 실제 릭헤일링 데이터를 기반으로 한 수치 실험 결과, MBP 정책는 실질적으로도 양호한 성능을 보이며 이론적 결과를 검증한다.
• MBP 정책는 배경압력을 미러 강하로 일반화함으로써, 민감한 농도 함수를 통해 상태 공간에 더 나은 기하학적 적응을 가능하게 한다.