[論文レビュー] Irrevocable Multi-Armed Bandit Policies

Vivek F. Farias, Ritesh Madan|ArXiv.org|Jun 25, 2008

Advanced Bandit Algorithms Research参考文献 10被引用数 4

ひとこと要約

本稿では、使用済みの腕を再活性化しない固定優先順位による選択を行う、取り消し不能なマルチアームバンディットヒューリスティックを提案する。これにより、運用変更を最小限に抑えられる。性能損失（取り消し不能性の価格）が、完全な探索自由を持つ最適方策に対する相対的に一様に1/8の要因で有界であることを示し、大規模問題における計算実験では、性能損失が5–10%にとどまることを確認した。

ABSTRACT

This paper considers the multi-armed bandit problem with multiple simultaneous arm pulls. We develop a new `irrevocable' heuristic for this problem. In particular, we do not allow recourse to arms that were pulled at some point in the past but then discarded. This irrevocable property is highly desirable from a practical perspective. As a consequence of this property, our heuristic entails a minimum amount of `exploration'. At the same time, we find that the price of irrevocability is limited for a broad useful class of bandits we characterize precisely. This class includes one of the most common applications of the bandit model, namely, bandits whose arms are `coins' of unknown biases. Computational experiments with a generative family of large scale problems within this class indicate losses of up to 5 to 10% relative to an upper bound on the performance of an optimal policy with no restrictions on exploration. We also provide a worst-case theoretical analysis that shows that for this class of bandit problems, the price of irrevocability is uniformly bounded: our heuristic earns expected rewards that are always within a factor of 1/8 of an optimal policy with no restrictions on exploration. In addition to being an indicator of robustness across all parameter regimes, this analysis sheds light on the structural properties that afford a low price of irrevocability.

研究の動機と目的

• 使用済みの腕の再活性化を禁止することで、運用変更を最小限に抑える実用的なマルチアームバンディット方策の設計。
• このような構造的制約を課すことによる性能コスト（「取り消し不能性の価格」）の分析。
• 近似的に最適な取り消し不能方策を計算する計算効率の良いアルゴリズムの開発。
• 大規模問題におけるヒューリスティックの性能評価と、パrameterの変動にわたる理論的頑健性の確立。

提案手法

• パッキングヒューリスティックは、価値を達成するまでの時間の比に基づいて腕を順位付けし、固定順序で選択する。
• 腕が破棄されると、その後一切再活性化されないため、取り消し不能性の制約が保たれる。
• 取り消し不能性の制約下での最適方策を計算するために、修正された報酬関数が使用され、緩和線形計画法（RLP）ソルバーによって解かれる。
• RLPソルバーのアルゴリズムは、最適値から2ε以内の妥当解を計算可能であり、計算複雑度はO(nS²AT log(r_max kT/ε))である。
• 本手法は、特にコインの偏りモデルにおけるバンディット腕の収益逓減性に依存している。
• 計算実験では、大規模問題の生成的ファミリーを用いて、実効的性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 完全な探索自由を持つ最適方策と比較して、取り消し不能方策の最悪ケース性能損失（取り消し不能性の価格）はどの程度か？
• RQ2 取り消し不能ヒューリスティックは、動的アソートメント選択のような実用的状況で近似的に最適な性能を達成できるか？
• RQ3 提案されたヒューリスティックの性能は、問題サイズやパrameterの変動にどのようにスケーリングするか？
• RQ4 取り消し不能性が、性能コストを有界に抑えるバンドイット問題のクラスは存在するか？
• RQ5 計算コストの高いインデックスヒューリスティックに依存せずに、良好な取り消し不能方策を計算する効率的アルゴリズムは設計可能か？

主な発見

• 取り消し不能性の価格は、1/8の要因で一様に有界であり、ヒューリスティックは最適期待報酬の少なくとも12.5%を常に達成する。
• 大規模問題における計算実験では、最適性能の上限に対する相対的損失が5–10%にとどまった。
• RLPソルバーのアルゴリズムは、最適値から2ε以内の妥当解を生成し、最大のインスタンスにおいてもラップトップで数分以内に合計計算時間が収まる。
• パッキングヒューリスティックは、計算効率の面で標準的なインデックスヒューリスティックを上回りながら、強力な実効的性能を維持している。
• 特にコインの偏りバンディットにおける腕の収益逓減性が、取り消し不能性下でも低い性能損失を実現可能にする。
• 取り消し不能性の構造的制約は、実用的であるだけでなく、理論的にも頑健であり、動的小売アソートメントや逐次的ドラッグ試験などの実世界応用に適している。