[論文レビュー] On Index Policies for Restless Bandit Problems

Sudipto Guha, Kamesh Munagala+1 more|arXiv (Cornell University)|Nov 27, 2007

Advanced Bandit Algorithms Research参考文献 23被引用数 9

ひとこと要約

本論文は、腕の状態がプレイ時にのみ観測可能な、非定常バンディット問題の特殊ケースであるフィードバックMAB問題に対して、2+ϵ-近似のグリーディー方策をもたらす双対性に基づくアルゴリズム的手法を導入する。この手法により、非自明な非定常バンディットおよびPOMDPインスタンスに対する最初の効率的O(1)-近似が達成され、ブロッキングやスイッチングコストといった制約付きバージョンへも拡張可能である。

ABSTRACT

The restless bandit problem is one of the most well-studied generalizations of the celebrated stochastic multi-armed bandit problem in decision theory. In its ultimate generality, the restless bandit problem is known to be PSPACE-Hard to approximate to any non-trivial factor, and little progress has been made despite its importance in modeling activity allocation under uncertainty. We consider a special case that we call Feedback MAB, where the reward obtained by playing each of n independent arms varies according to an underlying on/off Markov process whose exact state is only revealed when the arm is played. The goal is to design a policy for playing the arms in order to maximize the infinite horizon time average expected reward. This problem is also an instance of a Partially Observable Markov Decision Process (POMDP), and is widely studied in wireless scheduling and unmanned aerial vehicle (UAV) routing. Unlike the stochastic MAB problem, the Feedback MAB problem does not admit to greedy index-based optimal policies. We develop a novel and general duality-based algorithmic technique that yields a surprisingly simple and intuitive 2+epsilon-approximate greedy policy to this problem. We then define a general sub-class of restless bandit problems that we term Monotone bandits, for which our policy is a 2-approximation. Our technique is robust enough to handle generalizations of these problems to incorporate various side-constraints such as blocking plays and switching costs. This technique is also of independent interest for other restless bandit problems. By presenting the first (and efficient) O(1) approximations for non-trivial instances of restless bandits as well as of POMDPs, our work initiates the study of approximation algorithms in both these contexts.

研究の動機と目的

• 非定常バンディット問題の計算的非効率性（近似においてPSPACE-ハードであること）に対処すること。
• 腕の状態がプレイ時のみにしか観測されないフィードバックMAB問題に対して、実行可能で近似に基づく方策を開発すること。
• モンオトーンバンディットに拡張し、ブロッキングやスイッチングコストといった側面制約を統合すること。
• 非定常バンディットおよびPOMDPに対する近似アルゴリズムの研究を開始すること。これらは従来、効率的な解決法を欠いていた。

提案手法

• 非定常バンディット問題に対する近似方策を導出するための、新規の双対性に基づくアルゴリズムフレームワークを開発する。
• 双対性を用いて、部分的に観測可能なマルコフ決定過程であるフィードバックMAB問題に対して2+ϵ-近似のグリーディー方策を構築する。
• 方策が2-近似を達成する非定常バンディットの部分クラス、すなわちモンオトーンバンディットを同定する。
• ブロッキングプレイやスイッチングコストといった側面制約を扱えるようにフレームワークを一般化し、近似保証を維持する。
• 双対性を用いて性能の上限を導出し、近似的に最適な方策の効率的計算を可能にする。
• この手法がフィードバックMABをはるかに超える、非自明な非定常バンディットおよびPOMDPインスタンスに対しても、堅牢かつ適用可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 フィードバックMAB問題—非定常バンディット問題の非自明なインスタンス—に対して、実行可能で効率的な近似アルゴリズムを設計できるか？
• RQ2 非定常バンディット問題がPSPACE-ハードであるにもかかわらず、双対性に基づくアプローチが定数因子近似を達成できるか？
• RQ3 このフレームワークは、腕選択におけるブロッキングやスイッチングコストといった実用的制約を扱えるか？
• RQ4 非定常バンディットの自然な部分クラス、モンオトーンバンディットにおいて2-近似が達成可能か？
• RQ5 このアプローチは、POMDPおよび非定常バンディット問題における近似アルゴリズムの広範な研究を開始できるか？

主な発見

• 提案された双対性に基づく手法により、フィードバックMAB問題に対して2+ϵ-近似のグリーディー方策が得られ、非自明な非定常バンディットインスタンスに対する最初の効率的O(1)-近似が達成された。
• モンオトーンバンディットの部分クラスでは、方策が2-近似を達成し、強力な性能保証を示した。
• ブロッキングプレイやスイッチングコストといった側面制約を、近似バインディングを維持したまま効果的に統合できた。
• この手法は一般性と堅牢性に富み、フィードバックMABをはるかに超える幅広い非定常バンディット問題に適用可能である。
• 本研究により、非自明なPOMDPに対する最初の効率的O(1)-近似が確立され、部分観測意思決定問題における近似アルゴリズムの新たな道筋が開かれた。
• 双対性に基づくアプローチは、不確実性下での複雑な逐次意思決定問題における近似的に最適な方策を設計するための、新たな直感的かつ計算可能可能な手法を提供した。