[論文レビュー] Multiarmed Bandit Problems with Delayed Feedback

Sudipto Guha, Kamesh Munagala+1 more|arXiv (Cornell University)|Nov 4, 2010

Advanced Bandit Algorithms Research参考文献 22被引用数 5

ひとこと要約

本稿は、遅延フィードバックを伴うベイジアンマルチアームバンディット問題に対する多項式時間アルゴリズムを提案する。構造的ポリシー設計と線形計画法の緩和を活用し、定数因子近似を達成する。広範なクラスの事前分布に対してO(1)近似を提供し、先行研究に比べて有限時限のベイジアンバンディット問題に対して2-近似を達成する。

ABSTRACT

In this paper we initiate the study of optimization of bandit type problems in scenarios where the feedback of a play is not immediately known. This arises naturally in allocation problems which have been studied extensively in the literature, albeit in the absence of delays in the feedback. We study this problem in the Bayesian setting. In presence of delays, no solution with provable guarantees is known to exist with sub-exponential running time. We show that bandit problems with delayed feedback that arise in allocation settings can be forced to have significant structure, with a slight loss in optimality. This structure gives us the ability to reason about the relationship of single arm policies to the entangled optimum policy, and eventually leads to a O(1) approximation for a significantly general class of priors. The structural insights we develop are of key interest and carry over to the setting where the feedback of an action is available instantaneously, and we improve all previous results in this setting as well.

研究の動機と目的

• オンライン広告や確率的制御の分野で一般的な遅延フィードバックを伴うマルチアームバンディット問題における、保証付きの性能が得られないという問題に対処する。
• 報酬フィードバックがδiステップ遅れる状況下で、アーム報酬に予算制約を課す条件下でも、計算的に効率的なポリシーを設計する。
• 一般クラスの事前分布に対して定数因子近似（O(1)）を提供し、それまでの結果がこのような保証を欠いていた点を拡張する。
• 先行研究を改善し、有限時限のベイジアンバンディット問題に対して2-近似を提示することで、より一般化された結果を導く。
• 遅延フィードバックと重複するプレイスケジュールがある中でも、実行可能で近似的に最適な性能を保証する優先順位ベースのポリシー結合メカニズムを設計する。

提案手法

• 遅延フィードバックを伴うバンディット問題を、各プレイのフィードバックがδiステップ後に到着するブロックベースの状態表現でモデル化する。
• 各アームに対して、状態遷移、プレイ回数、期待報酬を符号化する線形計画法（LP2）を用いて、確率的で構造的なポリシーを定義する。
• 全アームの総プレイ回数がホライズンTを超えないようにするために、LPの解をγ倍にスケーリングし、修正されたLP（LP2s）を得る。
• LPの解に基づき、状態とプレイ回数に応じて、各ブロックにおける連続プレイ回数を確率的に選択する単一アームポリシーP^r(i,T/2)を構築する。
• 個々のアームポリシーを優先順位ベースのスキームで結合する：アームは固定順序で選択され、フィードバックを待機中のアームを除き、アクティブなアーム（待機中でないアーム）のみがプレイ可能となる。
• マルコフの不等式を用いて干渉をバウンディングし、各アームのポリシーが定数確率で実行されることを示し、期待報酬を保持する。

実験結果

リサーチクエスチョン

• RQ1 一般事前分布のもとで、遅延フィードバックを伴うマルチアームバンディット問題に対して、保証付きの良いポリシーを設計できるか？
• RQ2 遅延フィードバックと予算制約を伴うバンディット問題において、多項式時間で達成可能な最良の近似比は何か？
• RQ3 性能保証を維持する形で、遅延フィードバックをどのようにモデル化・管理できるか？
• RQ4 遅延フィードバック問題における構造的知見を活用することで、即時フィードバック設定における性能を向上させられるか？
• RQ5 フィードバック遅延が、ランダムで構造的なポリシーの実行可能性と性能に与える影響は何か？

主な発見

• 本稿は、遅延フィードバックを伴うマルチアームバンディット問題において、広範なクラスの事前分布に対してO(1)近似を達成し、指数的でない実行時間で初めてこのような保証を提供する。
• 有限時限のベイジアンバンディット問題に対して2-近似が確立され、先行研究を改善し一般化する。
• 優先順位ベースの実行スキームのおかげで、組み合わせポリシー下での各アームの期待寄与度は、個別に確率的で構造的なポリシー下の期待報酬の少なくとも1/8以上である。
• LP緩和（LP2s）により、総プレイ回数がTでバウンデッドされ、期待報酬がΩ(OPT)であることが保証され、最適ポリシーの定数因子内に収まる。
• 遅延フィードバックからの構造的知見を活用することで、即時フィードバック設定における性能向上が可能であることが示され、フレームワークの広範な適用可能性が裏付けられる。
• 優先順位ベースのポリシー結合により、アーム間の干渉がバウンデッドされ、重複するフィードバック遅延がある中でも各アームのポリシーが定数確率で実行可能となる。