[論文レビュー] Whittle index based Q-learning for restless bandits with average reward

Konstantin Avrachenkov, Vivek S. Borkar|arXiv (Cornell University)|Apr 29, 2020

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、平均報酬を伴う restless bandits に対して、Whittle index 構造を活用して Q-learning の探索空間を著しく削減する Whittle index を用いた Q-learning アルゴリズムを提案する。この手法は、2 時間スケールの確率的近似を用いて、真の Whittle index にほとんど確実に収束させ、大規模な問題において顕著な計算効率と強い実験的性能を達成する。

ABSTRACT

A novel reinforcement learning algorithm is introduced for multiarmed restless bandits with average reward, using the paradigms of Q-learning and Whittle index. Specifically, we leverage the structure of the Whittle index policy to reduce the search space of Q-learning, resulting in major computational gains. Rigorous convergence analysis is provided, supported by numerical experiments. The numerical experiments show excellent empirical performance of the proposed scheme.

研究の動機と目的

• 状態空間の指数的増大により、vanilla Q-learning を restless bandits に適用することが計算的に非現実的になる問題に対処する。
• システムの事前知識がなく、オンラインでインデックスを学習することで、Whittle index 政策における「モデル化の呪い」を克服する。
• Whittle index の構造的性質を活用して、学習の複雑さを低減する強化学習方式を開発する。
• 2 時間スケールの確率的近似を用いて、平均報酬設定下での Whittle index の学習に対して、きめ細やかな収束保証を確立する。
• 大規模なシステム（多数のアームを有する）においても、最小限の計算負荷で、オンラインおよびオフライン学習を効率的に行えるようにする。

提案手法

• 平均報酬の Q-learning と Whittle index 政策構造を統合し、行動空間をインデックスに基づく意思決定に制限する。
• 2 時間スケールの確率的近似を用いる：高速な Q 値更新と遅い Whittle index 更新を組み合わせ、学習率が標準的な収束条件を満たすようにする。
• Whittle index の学習更新を、インデックス等価条件を満たす方向への段階的調整として定義する：$ Q^*_{\lambda}(\hat{k},1) = Q^*_{\lambda}(\hat{k},0) $。
• Whittle index は、受動的行動と能動的行動の下での最適コストが等しくなる唯一の $ \lambda $ であるという事実を活用する。
• Borkar (2008) らの理論を応用し、2 時間スケールの確率的近似理論を用いて、インデックス推定値のほとんど確実な収束を証明する。
• 補題 2 と 3 を用いて反復の有界性を保証し、ODE の極限が真の Whittle index において一意かつ大域的漸近安定な平衡点を持つことを検証する。

実験結果

リサーチクエスチョン

• RQ1 平均報酬設定下で、Whittle index を用いた Q-learning が、真の Whittle index にほとんど確実に収束させることができるか。
• RQ2 Whittle index の可解性を活用することで、restless bandits の Q-learning の計算複雑性をどのように低減できるか。
• RQ3 2 時間スケールの確率的近似フレームワーク下で、Whittle index の推定値の収束を保証する学習率の条件は何か。
• RQ4 提案手法は、i.i.d. および非 i.i.d. のアーム動的特性をすべて処理でき、収束性と効率性を維持できるか。
• RQ5 大規模問題における収束保証および実験的性能の観点から、先行研究と比較して本手法はどのように優れているか。

主な発見

• 標準的な仮定の下で、すべての状態 $ \hat{k} \in S $ に対して、推定された Whittle index $ \lambda_n(\hat{k}) $ が真のインデックス $ \lambda(\hat{k}) $ にほとんど確実に収束することが保証される。
• 100 個のアーム（1 アームあたり $ d_\alpha = 5 $）に対して、本手法は 1 イタレーションあたりたった 5,500 回の更新で十分であるが、vanilla Q-learning では $ 10^{100} $ 回にのぼる。
• 本手法は計算的に効率的であり、大規模システムにおいても古典的手法の Q-learning が非現実的となるような状況でも、標準的なデバイスで実行可能である。
• 数値実験により、優れた実験的性能が確認され、理論的な収束性と計算的効率性の向上が裏付けられた。
• 本アルゴリズムはオンラインおよびオフライン学習モードをサポートしており、オフポリシー更新も可能であり、実用的応用性が向上している。
• 収束証明はきめ細やかであり、Borkar (2008) の要件（A1–A7）をすべて検証した上で、2 時間スケールの確率的近似理論に依拠している。