[논문 리뷰] Restless Bandits in Action: Resource Allocation, Competition and Reservation

Jing Fu, Bill Moran외 1명|arXiv (Cornell University)|2018. 04. 06.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 전역 용량 제약 조건 하에 약하게 결합된 이질적 휴식 다다리 랜덤 움직임(Whittle relaxation)의 점근적 최적 자원 배정 정책을 제안한다. 고정된 활성 랜덤 움직임 수를 총 랜덤 움직임 수에 비례하게 스케일링하는 새로운 스케일링 체제에서, Whittle 확장 및 Weber-Weiss 점근적 최적성 이론을 확장함으로써, 이 새로운 스케일링 체제 하에서 점근적 최적성을 증명한다. 이는 이와 같은 제약 조건이 가해진 이질적 RMABP 시스템에 대해 처음으로 이와 같은 결과를 제공한다.

ABSTRACT

We study a resource allocation problem with different requests, and with resources of limited capacity shared by multiple requests. We model this problem as a set of heterogeneous Restless Multi-Armed Bandit Problems (RMABPs) connected by the constraints imposed by the resource capacity. Following the idea of Whittle relaxation, and the asymptotic optimality proof of Weber and Weiss, we propose a simple policy for our problem and prove its asymptotic optimality when the RMABPs are weakly coupled with each other. To the best of our knowledge, this is the first work providing asymptotic optimality results for such a resource allocation problem and such a combination of multiple RMABPs. In applying these, we consider the asymptotic optimality in the case of a fixed number of active restless Bandit Processes (BPs) for each RMABP, rather than a fixed ratio of the number of active BPs to the total number of BPs as considered by Weber and Weiss. In particular, we scale the transition rates of the active bandits in proportion to the total number of BPs.

연구 동기 및 목표

• 다양한 이질적 요청 간에 제한된 용량의 자원을 공유하는 시스템에서의 자원 할당 문제를 다루기 위해.
• 문제를 전역 용량 제약 조건을 받는 약하게 결합된 이질적 휴식 다다리 랜덤 움직임(RMABPs)의 집합으로 모델링하기 위해.
• 고정된 활성 랜덤 움직임 수를 가진 이와 같은 제약 조건이 가해진 이질적 RMABP 환경에 Whittle 확장 프레임워크를 확장하기 위해.
• 전이 확률가 총 랜덤 움직임 수에 비례하게 스케일링되는 새로운 스케일링 체제 하에서 제안된 정책의 점근적 최적성을 확립하기 위해.
• 각 프로세스당 고정된 활성 랜덤 움직임 수를 가진 제약 조건이 가해진 다수의 이질적 RMABPs 시스템에 대해 처음으로 점근적 최적성 결과를 제공하기 위해.

제안 방법

• 제한된 용량의 자원을 공유하는 자원 할당 문제를 공통 용량 제약 조건을 가진 이질적 휴식 다다리 랜덤 움직임(RMABPs)의 집합으로 모델링한다.
• 용량 제약 조건 하에서 각 RMABP에 대해 접근 가능한 인덱스 기반 정책을 도출하기 위해 Whittle 확장을 적용한다.
• 각 RMABP당 활성 랜덤 움직임 수가 고정되어 있고 총 랜덤 움직임 수가 증가하는 새로운 스케일링 체제를 도입하며, 전이 확률을 총 랜덤 움직임 수에 비례하게 스케일링한다.
• 점근적 분석을 통해 제안된 정책이 이 스케일링 체제 하에서 점근적 최적성을 확보함을 증명한다.
• Weber와 Weiss의 이론 프레임워크를 활성 랜덤 움직임 수의 비율이 고정되어 있지 않은, 그러나 각 RMABP당 활성 랜덤 움직임의 절대 수가 일정한 환경으로 확장한다.
• 제안된 정책의 성능이 제안된 스케일링 하에서 시스템 크기가 증가함에 따라 최적 해에 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 제약 조건이 가해진 이질적이고 약하게 결합된 RMABPs 시스템에서 Whittle 확장 기반 정책이 점근적 최적성을 달성할 수 있는가?
• RQ2 각 RMABP당 활성 랜덤 움직임 수가 총 랜덤 움직임 수에 비례하는 것이 아니라 고정되어 있을 경우, 어떤 스케일링 체제가 점근적 최적성을 가능하게 하는가?
• RQ3 활성 랜덤 움직임의 전이 확률을 총 랜덤 움직임 수에 비례하게 스케일링할 경우, 정책의 점근적 성능에 어떤 영향을 미치는가?
• RQ4 Weber와 Weiss의 점근적 최적성 결과는 다수의 이질적 RMABPs 시스템에 대해 제약 조건이 가해지고 각 프로세스당 활성 랜덤 움직임 수가 고정된 경우로 확장 가능한가?
• RQ5 각 RMABP당 고정된 활성 랜덤 움직임 수를 가진 대규모 시스템에서 제안된 정책의 이론적 성능 보장은 무엇인가?

주요 결과

• 총 랜덤 움직임 수가 증가함에 따라 제안된 정책은 각 RMABP당 활성 랜덤 움직임 수가 고정된 새로운 스케일링 체제 하에서 점근적 최적성을 달성한다.
• 점근적 최적성은 Weber와 Weiss의 표준 비율 기반 스케일링과 다름을 보이는, 전이 확률을 총 랜덤 움직임 수에 비례하게 스케일링하는 체제 하에서 확립된다.
• 이 작업은 각 프로세스당 고정된 활성 랜덤 움직임 수를 가진 다수의 이질적 RMABPs 시스템에 대해 전역 용량 제약 조건 하에서 처음으로 점근적 최적성 결과를 제공한다.
• 이론적 분석은 Whittle 확장 접근법이 이 새로운 점근적 제도에서 여전히 타당하고 최적임을 확인한다.
• 이 결과는 고정된 활성 랜덤 움직임 수를 가진 제약 조건이 가해진 자원 할당 문제의 더 넓은 범주에 Whittle의 인덱스 정책의 적용 가능성을 확장한다.
• 이 프레임워크는 각 프로세스당 활성 요청 수가 제한되어 있지만 시스템 크기가 증가하는 대규모 시스템에서의 실용적 구현을 지원한다.