[論文レビュー] Restless Bandits with Average Reward: Breaking the Uniform Global Attractor Assumption

Yige Hong, Qiaomin Xie+2 more|arXiv (Cornell University)|May 31, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用数 3

ひとこと要約

本稿では、平均報酬基準の下で、あらゆる単一アーム方策をNアーム方策に変換するシミュレーションベースの手法であるFollow-the-Virtual-Advice（FTVA）フレームワークを紹介する。本手法は、先行研究の主要仮定である均一全域吸引性条件（UGAP）を必要とせず、離散時刻および連続時刻の両設定において $O(1/\sqrt{N})$ の最適性ギャップを達成する。これにより、連続時刻設定においては、より弱い条件下で初めて漸近的最適性が達成可能であるという結果が得られた。

ABSTRACT

We study the infinite-horizon restless bandit problem with the average reward criterion, in both discrete-time and continuous-time settings. A fundamental goal is to efficiently compute policies that achieve a diminishing optimality gap as the number of arms, $N$, grows large. Existing results on asymptotic optimality all rely on the uniform global attractor property (UGAP), a complex and challenging-to-verify assumption. In this paper, we propose a general, simulation-based framework, Follow-the-Virtual-Advice, that converts any single-armed policy into a policy for the original $N$-armed problem. This is done by simulating the single-armed policy on each arm and carefully steering the real state towards the simulated state. Our framework can be instantiated to produce a policy with an $O(1/\sqrt{N})$ optimality gap. In the discrete-time setting, our result holds under a simpler synchronization assumption, which covers some problem instances that violate UGAP. More notably, in the continuous-time setting, we do not require \emph{any} additional assumptions beyond the standard unichain condition. In both settings, our work is the first asymptotic optimality result that does not require UGAP.

研究の動機と目的

• 無限ホライズンの不落ち着きバンディットにおいて、平均報酬基準の下で、均一全域吸引性条件（UGAP）に依存せずに漸近的最適性が達成可能かどうかという根本的な未解決問題に取り組む。
• UGAPおよび非特異性仮定を緩和した状況下で、最適性ギャップの非自明な収束速度を確立する。
• 単一アーム方策設計に還元可能な、一般的で効率的かつスケーラブルな方策変換フレームワークを構築する。
• フレームワークを非一様なアームに拡張し、線形にNに依存する計算コストと分散型サブルーチンを用いた実装可能性を示す。

提案手法

• 各アームで並列に単一アーム方策をシミュレートし、実システムの状態をシミュレートされた状態に近づけることで、パフォーマンス損失を最小化するFollow-the-Virtual-Advice（FTVA）フレームワークを提案する。
• 各アームの仮想的および実際のプロセスを、同期時間 $\tau^{\text{sync}}_k(s,a,\widehat{s},\widehat{a})$ を用いて同期化するメカニズムを導入し、同期仮定（SA）のもとで状態の整合性を保証する。
• リトルの法則を用いて、期待同期時間に基づいて平均的不一致期間長を上限付ける。さらに、コーシー＝シュワルツ不等式を用いて、不一致アームの期待数を上限付ける。
• 離散時刻では同期仮定（SA）を、連続時刻では一意連鎖性（unichain）条件を仮定した下で、最適性ギャップの上界として $\frac{r_{\max}\overline{\tau}^{\text{sync}}_{\text{max}}}{\sqrt{N}}$ を導出する。
• タイプ別最適単一アーム方策 $\bar{\pi}^*_k$ を適用し、重み付き平均化により結果を統合することで、非一様アームへのフレームワークの拡張を実現する。
• 連続時刻バージョンであるFTVA-CTを導入し、一意連鎖性条件を除き、いかなる仮定も必要としない状況で、$O(1/\sqrt{N})$ のギャップを達成する。これは、UGAPを仮定しない連続時刻設定における最初の同様の結果である。

Figure 1 : An discrete-time RB problem that satisfies SA but not UGAP.

実験結果

リサーチクエスチョン

• RQ1 平均報酬基準の下で、不落ち着きバンディットにおいて、均一全域吸引性条件（UGAP）に依存せずに漸近的最適性が達成可能か。
• RQ2 UGAPおよび非特異性条件を緩和した状況下で、最適性ギャップの非自明な収束速度を確立することは可能か。
• RQ3 一般的で、シミュレーションベースのフレームワークとして、任意の単一アーム方策を、より弱い仮定のもとで漸近的最適なNアーム方策に変換可能か。
• RQ4 UGAPが存在しない状況、特に連続時刻設定において、性能ギャップはアーム数 $N$ に対してどのようにスケーリングするか。

主な発見

• FTVAフレームワークは、同期仮定（SA）のもとで、離散時刻の不落ち着きバンディットにおいて $O(1/\sqrt{N})$ の最適性ギャップを達成する。これはUGAPより厳密に弱い条件であり、UGAPが成立しない例に対しても適用可能である。
• 連続時刻設定では、FTVA-CTバージョンが、標準の一意連鎖性条件を除き、いかなる仮定も必要としない状況で、同じ $O(1/\sqrt{N})$ の最適性ギャップを達成する。これは、UGAPを仮定しない連続時刻設定における最初の同様の結果である。
• 最適性ギャップは $\frac{r_{\max}\overline{\tau}^{\text{sync}}_{\text{max}}}{\sqrt{N}}$ で上限付けられ、ここで $\overline{\tau}^{\text{sync}}_{\text{max}}$ はすべてのアームタイプおよび初期状態における最大期待同期時間である。
• フレームワークは効率的な計算を可能にし、$O(N)$ の計算コストで実装可能であり、アーム間で分散処理が可能である。
• タイプ別最適単一アーム方策を適用し、重み付き平均化により統合することで、非一様アームへの拡張が可能である。
• 本研究は、2つの長年の未解決問題を解決した：UGAPなしでの漸近的最適性、および非特異性仮定なしでの非自明な収束速度。

Figure 2 : Time evolution of the fraction of arms in each state under LP-Priority (upper), or after switching to $\textup{{FTVA}}({\bar{\pi}}^{*})$ (lower) since time slot $250$ . The x-axis represents the time slot, which ranges from $250$ to $289$ ; the y-axis represents the states; the color repr