[논문 리뷰] Restless Bandits with Average Reward: Breaking the Uniform Global Attractor Assumption

Yige Hong, Qiaomin Xie외 2명|arXiv (Cornell University)|2023. 05. 31.

Advanced Bandit Algorithms ResearchDecision Sciences인용 수 3

한 줄 요약

이 논문은 평균 보상 기준 하에서 불안정한 밴디트 문제에 대해, 어떤 단일 암호 정책이든 N암 정책으로 변환할 수 있는 시뮬레이션 기반 방법인 Follow-the-Virtual-Advice (FTVA) 프레임워크를 소개한다. 이는 이전 연구에서 핵심 가정으로 여겨졌던 균일 전역 도달성 성질(UGAP)이 필요로 하지 않으며, 이로 인해 이론적으로 더 약한 조건 하에서도 연속 시간 케이스에서 최초로 점근적 최적성 결과를 도출한다. 이는 이산 및 연속 시간 설정 모두에서 $O(1/\sqrt{N})$의 최적성 갭을 달성한다.

ABSTRACT

We study the infinite-horizon restless bandit problem with the average reward criterion, in both discrete-time and continuous-time settings. A fundamental goal is to efficiently compute policies that achieve a diminishing optimality gap as the number of arms, $N$, grows large. Existing results on asymptotic optimality all rely on the uniform global attractor property (UGAP), a complex and challenging-to-verify assumption. In this paper, we propose a general, simulation-based framework, Follow-the-Virtual-Advice, that converts any single-armed policy into a policy for the original $N$-armed problem. This is done by simulating the single-armed policy on each arm and carefully steering the real state towards the simulated state. Our framework can be instantiated to produce a policy with an $O(1/\sqrt{N})$ optimality gap. In the discrete-time setting, our result holds under a simpler synchronization assumption, which covers some problem instances that violate UGAP. More notably, in the continuous-time setting, we do not require \emph{any} additional assumptions beyond the standard unichain condition. In both settings, our work is the first asymptotic optimality result that does not require UGAP.

연구 동기 및 목표

• 무한 시간 범위의 불안정한 밴디트 문제에서 평균 보상 기준 하에 균일 전역 도달성 성질(UGAP) 없이 점근적 최적성이 달성 가능한가에 대한 근본적인 열린 질문을 해결하기 위해.
• UGAP 및 비특이성 가정이 없을 경우에도 최적성 갭에 대한 비자명한 수렴 속도를 확립하기 위해.
• 일반적이고 효율적이며 확장 가능한 정책 변환 프레임워크를 개발하여 N암 문제를 단일 암 정책 설계 문제로 환원하기 위해.
• 프레임워크를 이질적인 암으로 확장하고, 선형 시간 복잡도 $O(N)$과 분산 서브루틴을 통해의 실행 가능성을 입증하기 위해.

제안 방법

• 각 암에서 병렬적으로 단일 암 정책을 시뮬레이션하고, 실제 시스템 상태를 시뮬레이션된 상태로 이끌어 성능 손실을 최소화하는 Follow-the-Virtual-Advice (FTVA) 프레임워크를 제안한다.
• 각 암의 가상 프로세스와 실제 프로세스를 동기화 시간 $\tau^{\text{sync}}_k(s,a,\widehat{s},\widehat{a})$를 통해 정렬하는 동기화 메커니즘을 사용하여, 동기화 가정(SA) 하에서 상태 일치를 보장한다.
• 리틀의 법칙을 적용하여 기대 동기화 시간을 사용해 평균 불일치 기간 길이를 상한선으로 제시하고, 코시-슈바르츠 부등식을 사용해 불일치하는 암의 기대 수를 상한선으로 제시한다.
• 이산 시간에서는 동기화 가정(SA) 하에, 연속 시간에서는 비틀림 조건(unichain condition) 하에, 최적성 갭 상한선으로 $\frac{r_{\max}\overline{\tau}^{\text{sync}}_{\text{max}}}{\sqrt{N}}$을 도출한다.
• 유형별 최적의 단일 암 정책 $\bar{\pi}^*_k$를 적용하고 가중 평균을 통한 결과 집계를 통해 이질적 암으로의 확장을 달성한다.
• 연속 시간 변형인 FTVA-CT를 도입하여, 비틀림 조건 이외의 추가 가정 없이도 동일한 $O(1/\sqrt{N})$의 갭을 달성하며, 이는 UGAP 없이 연속 시간에서 최초의 결과이다.

Figure 1 : An discrete-time RB problem that satisfies SA but not UGAP.

실험 결과

연구 질문

• RQ1 평균 보상 기준 하에서 UGAP에 의존하지 않고 불안정한 밴디트 문제에서 점근적 최적성이 달성 가능한가?
• RQ2 UGAP 및 비특이성 조건이 완화되었을 경우에도 최적성 갭에 대한 비자명한 수렴 속도를 확립할 수 있는가?
• RQ3 일반적이고 시뮬레이션 기반의 프레임워크로 어떤 단일 암 정책이든 점근적으로 최적인 N암 정책으로 변환 가능할 수 있는가?
• RQ4 UGAP이 없을 경우, 특히 연속 시간 설정에서 성능 갭은 암의 수 $N$에 따라 어떻게 스케일링되는가?

주요 결과

• FTVA 프레임워크는 동기화 가정(SA) 하에 이산 시간 불안정한 밴디트 문제에서 $O(1/\sqrt{N})$의 최적성 갭을 달성한다. 이는 UGAP보다 엄밀히 더 약한 조건이며, UGAP가 실패하는 경우에도 적용 가능하다.
• 연속 시간 설정에서는 FTVA-CT 버전이 UGAP이 없이도 동일한 $O(1/\sqrt{N})$의 최적성 갭을 달성하며, 이는 UGAP 없이 연속 시간에서 최초의 결과이다.
• 최적성 갭은 $\frac{r_{\max}\overline{\tau}^{\text{sync}}_{\text{max}}}{\sqrt{N}}$로 상한선이 제시되며, 여기서 $\overline{\tau}^{\text{sync}}_{\text{max}}$는 모든 암 유형 및 초기 조건에 대해 최대 기대 동기화 시간이다.
• 프레임워크는 효율적인 계산을 가능하게 하며, $O(N)$의 계산 비용으로 실행 가능하고 암 간 분산 실행도 지원한다.
• 유형별 최적의 단일 암 정책를 적용하고 가중 평균을 통한 집계를 통해 이질적 암으로의 확장이 가능하다.
• 본 연구는 두 가지 오랫동안 열려 있던 질문을 해결한다: UGAP 없이 점근적 최적성 달성 가능 여부, 비특이성 가정 없이 비자명한 수렴 속도 존재 여부.

Figure 2 : Time evolution of the fraction of arms in each state under LP-Priority (upper), or after switching to $\textup{{FTVA}}({\bar{\pi}}^{*})$ (lower) since time slot $250$ . The x-axis represents the time slot, which ranges from $250$ to $289$ ; the y-axis represents the states; the color repr