[論文レビュー] An Asymptotically Optimal Index Policy for Finite-Horizon Restless Bandits

Weici Hu, Peter I. Frazier|arXiv (Cornell University)|Jul 1, 2017

Advanced Bandit Algorithms ResearchDecision Sciences被引用数 20

ひとこと要約

本稿では、1期あたり複数回のプルを許容する有限時間ホライズンの restless multi-armed bandit 問題に対して、ラグランジュ緩和を用いて問題を単一アームの部分問題に分解することで、漸近的に最適なインデックス方策を提案する。この方策は、各部分問題の最適解からインデックスを計算し、アーム数が増加する極限で漸近的最適性を示す。インデックス可能性の仮定を必要とせず、シミュレーションにおいて最先端のヒューリスティクスを上回る性能を示す。

ABSTRACT

We consider restless multi-armed bandit (RMAB) with a finite horizon and multiple pulls per period. Leveraging the Lagrangian relaxation, we approximate the problem with a collection of single arm problems. We then propose an index-based policy that uses optimal solutions of the single arm problems to index individual arms, and offer a proof that it is asymptotically optimal as the number of arms tends to infinity. We also use simulation to show that this index-based policy performs better than the state-of-art heuristics in various problem settings.

研究の動機と目的

• 1期あたり複数回のプルを許容する有限時間ホライズンの restless bandit 問題に対して、計算が tractable（取り扱い可能）な方策を開発すること。
• インデックスベースの方策の適用範囲を、無限時間ホライズンおよび1回のプルに限らない設定へ拡張すること。
• 従来の手法（例：Whittleインデックス）が制限を受けるインデックス可能性条件の必要性を排除すること。
• 一般設定（状態空間の制限なし）において、アーム数とプル数が非常に大きくなる極限で漸近的最適性を証明すること。
• 数値シミュレーションを通じて、既存のヒューリスティクスと比較して優れた有限標本性能を示すこと。

提案手法

• 制約付きの multi-armed bandit 問題をラグランジュ緩和により、分離可能な単一アーム問題の集合に変換する。
• 緩和制約下での各アームの対応する単一アーム問題の最適解に基づき、各アームにインデックスを導出する。
• フロイド極限解析と収束議論を用いて、アーム数が無限大に近づく極限での漸近的最適性を確立する。
• 状態空間の集約技術を用いて、フロイド極限におけるシステムの挙動を分析し、経験的分布が決定的フローに収束することを示す。
• 単一アーム問題に対して動的計画法の定式化を適用し、インデックスの計算を可能にし、アーム数とは無関係に計算が tractable であることを保証する。
• ベンチマーク問題に対するシミュレーションを通じて方策の妥当性を検証し、最先端のヒューリスティクスと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 1期あたり複数回のプルを許容する有限時間ホライズンの restless bandit 問題に対して、アーム数の増加に伴って計算が tractable なインデックス方策を構築できるか？
• RQ2 このような方策は、インデックス可能性を仮定せず、アーム数とプル数が非常に大きくなる極限で漸近的最適性を達成できるか？
• RQ3 有限標本設定において、提案されたインデックス方策の性能は既存のヒューリスティクスと比べてどのように異なるか？
• RQ4 状態空間に制限（例：最大3状態）を課さずに、漸近的最適性の結果を確立できるか？
• RQ5 提案されたインデックス方策は、一般のマルコフ遷移構造および報酬関数に対してロバストであるか？

主な発見

• 提案されたインデックス方策は、一般の条件下でアーム数と1期あたりのプル数が同じ割合で無限大に近づく極限で、漸近的に最適である。
• この方策はインデックス可能性条件を必要とせず、これは一般設定における Whittle インデックスの主な制限要因である。
• 漸近的最適性の証明は、各アームの状態空間の状態数に依存せず成立する。これに対して、先行研究では3状態制限が必要であった。
• シミュレーションでは、広告、臨床試験、クラウドソーシングラベル付けなど、多様な問題インスタンスにおいて、常に最先端のヒューリスティクスを上回る性能を示す。
• インデックス計算は単一アーム最適化にのみ依存するため、大規模問題への計算スケーラビリティが保証される。
• フロイド極限解析により、アーム状態の経験的分布が概収束的に決定的フローに収束することが確認され、漸近的最適性の結果を裏付ける。