[논문 리뷰] Restless Bandits with Many Arms: Beating the Central Limit Theorem

Xiangyu Zhang, Peter I. Frazier|arXiv (Cornell University)|2021. 07. 25.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 9

한 줄 요약

이 논문은 다수의 암을 가진 불안정한 반복 문제에 대해 유체 우선순위 정책을 도입하며, 비퇴도 조건 하에서 최적성 갭이 O(1)임을 증명함으로써 고전적 중앙극한정리에 의해 유도되는 O(√N) 경계를 뛰어넘는다. 이 방법은 대규모 마르코프 결정 과정에서 넓은 범위의 색인 정책에 대해 더 탴한 수렴 속도를 확립하기 위해 유체 및 확산 척도 근사 근사를 활용한다.

ABSTRACT

We consider finite-horizon restless bandits with multiple pulls per period, which play an important role in recommender systems, active learning, revenue management, and many other areas. While an optimal policy can be computed, in principle, using dynamic programming, the computation required scales exponentially in the number of arms $N$. Thus, there is substantial value in understanding the performance of index policies and other policies that can be computed efficiently for large $N$. We study the growth of the optimality gap, i.e., the loss in expected performance compared to an optimal policy, for such policies in a classical asymptotic regime proposed by Whittle in which $N$ grows while holding constant the fraction of arms that can be pulled per period. Intuition from the Central Limit Theorem and the tightest previous theoretical bounds suggest that this optimality gap should grow like $O(\sqrt{N})$. Surprisingly, we show that it is possible to outperform this bound. We characterize a non-degeneracy condition and a wide class of novel practically-computable policies, called fluid-priority policies, in which the optimality gap is $O(1)$. These include most widely-used index policies. When this non-degeneracy condition does not hold, we show that fluid-priority policies nevertheless have an optimality gap that is $O(\sqrt{N})$, significantly generalizing the class of policies for which convergence rates are known. We demonstrate that fluid-priority policies offer state-of-the-art performance on a collection of restless bandit problems in numerical experiments.

연구 동기 및 목표

• 대규모 불안정한 반복 문제에서 시뮬레이션 결과로 나타나는 일정한 최적성 갭과 이론적 경계가 O(√N)로 증가한다는 점 사이의 격차를 해결한다.
• 암의 수 N이 증가하는 점근적 영역에서 예산이 비례적으로 증가할 때 색인 정책의 성능을 분석하기 위한 일반적 프레임워크를 개발한다.
• 유체 우선순위 정책이 O(1) 최적성 갭을 달성할 수 있는 비퇴도 조건을 규명한다. 이는 이전의 O(√N) 경계에 비해 크게 향상된 결과이다.
• 대부분의 널리 사용되는 색인 정책을 포함한 실용적으로 계산 가능한 정책의 광범위한 클래스에 이론적 분석을 확장한다.
• 다양한 불안정한 반복 문제에 대한 수치 실험에서 유체 우선순위 정책이 최첨단 성능을 달성함을 보여준다.

제안 방법

• 브라운 등(2020)과 후 및 프레이저(2017)의 기존 색인 정책의 핵심 특징을 일반화한 유체 우선순위 정책의 일반 클래스를 도입한다.
• 유체 일致성 정의: N → ∞ 일 때, 정책의 정규화된 상태 및 행동 수는 거의 확실히 유체 근사치 z_t 및 x_t로 수렴한다.
• 유체 일치성이 o(N) 최적성 갭을 암시함을 증명하며, 더 탄탄한 경계로 향하는 기본 단계이다.
• 확산 정규성 도입: 정책이 유도하는 사상은 리프시츠 조건을 만족하고, 0에서 유계여야 하며, N → ∞ 일 때 수렴해야 한다.
• 확산 정규성이 두 번째 모멘트의 유계성과 확산 척도 통계량 (Z̃_t^N, X̃_t^N)의 분포 수렴을 보장함을 증명한다.
• 확산 척도 이탈의 유계성을 이용해, 이전 연구보다 더 약한 조건 하에서도 최적값과 정책값 사이의 갭이 O(√N)임을 보여준다.

실험 결과

연구 질문

• RQ1 일부 조건 하에서 불안정한 반복 문제에 대한 고전적 O(√N) 최적성 갭 경계를 향상시킬 수 있는가?
• RQ2 어떤 정책의 클래스가 다수의 암을 가진 점근적 영역에서 O(1) 최적성 갭을 달성할 수 있으며, 이를 위해 어떤 조건이 필요한가?
• RQ3 유체 및 확산 척도 근사 근사를 사용해 대규모 불안정한 반복 문제에서 색인 정책의 수렴 속도를 분석할 수 있는가?
• RQ4 기존의 색인 정책(예: 브라운 등, 2020; 후 및 프레이저, 2017)이 더 탄탄한 성능 경계를 위한 새로운 정규성 조건을 얼마나 잘 충족하는가?
• RQ5 유체 우선순위 정책이 N에 관계없이 일정한 최적성 갭을 달성할 수 있는 비퇴도 조건이 존재하는가?

주요 결과

• 비퇴도 조건 하에서, 유체 우선순위 정책은 O(1) 최적성 갭을 달성하며, 이는 중심극한정리에 의해 유도되는 O(√N) 경계보다 엄밀히 우월하다.
• 정책의 유체 일치성은 o(N) 최적성 갭을 암시하며, 이는 광범위한 정책 클래스에 적용 가능한 일반적 결과이다.
• 유체 일치성보다 더 강력한 조건인 확산 정규성은 O(√N) 최적성 갭을 보장하며, 이는 이전 결과를 더 넓은 정책 클래스로 일반화한다.
• 브라운 등(2020)과 후 및 프레이저(2017)가 제안한 정책들이 확산 정규성을 만족함을 입증하여, 새로운 프레임워크를 통해 O(√N) 최적성 갭을 확인한다.
• 수치 실험을 통해 유체 우선순위 정책이 다양한 불안정한 반복 문제에서 최첨단 성능을 달성함을 보였다.
• 이론적 프레임워크는 이전에 불가능했던 더 탄탄한 경계를 증명할 수 있는 길을 제공하며, 특히 CLT 기반 직관이 실패할 경우에 더욱 두드러진다.