[論文レビュー] Best arm identification in multi-armed bandits with delayed feedback

Aditya Grover, Todor Markov+9 more|arXiv (Cornell University)|Mar 31, 2018

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本論文は、完全なフィードバックが到着する前に到着する部分的フィードバックを活用することで、遅延フィードバックを伴う確率的マルチアームバンディットにおける最良腕同定のためのフレームワークを提案する。偏りのあるまたは偏りのない部分的フィードバック推定器を活用する効率的なアルゴリズムを提案し、並列バンディット設定へと拡張し、ハイパーパramータチューニングやポリシー探索といった実世界の応用において、ベースラインと比較して顕著な性能向上を示している。

ABSTRACT

We propose a generalization of the best arm identification problem in stochastic multi-armed bandits (MAB) to the setting where every pull of an arm is associated with delayed feedback. The delay in feedback increases the effective sample complexity of standard algorithms, but can be offset if we have access to partial feedback received before a pull is completed. We propose a general framework to model the relationship between partial and delayed feedback, and as a special case we introduce efficient algorithms for settings where the partial feedback are biased or unbiased estimators of the delayed feedback. Additionally, we propose a novel extension of the algorithms to the parallel MAB setting where an agent can control a batch of arms. Our experiments in real-world settings, involving policy search and hyperparameter optimization in computational sustainability domains for fast charging of batteries and wildlife corridor construction, demonstrate that exploiting the structure of partial feedback can lead to significant improvements over baselines in both sequential and parallel MAB.

研究の動機と目的

• 確率的マルチアームバンディットにおける遅延フィードバックによって引き起こされるサンプル複雑性の増加に対処すること。
• 部分的フィードバック（早期に到着）と遅延した完全なフィードバック（後で到着）の間の関係を、一般的かつ解析可能な形でモデル化すること。
• 偏りのあるおよび偏りのない部分的フィードバック推定器を活用する効率的なアルゴリズムを開発し、サンプル効率を向上させること。
• 提案されたフレームワークを、複数の腕を同時に引ける並列マルチアームバンディット設定へと拡張すること。
• ハイパーパramータ最適化およびポリシー探索を含む実世界の計算持続可能性応用において、アプローチを実証的に検証すること。

提案手法

• マルチアームバンディットにおける部分的フィードバックと遅延した完全なフィードバックの時間的関係を捉える一般化されたフィードバックモデルを提案する。
• 部分的フィードバックを代替観測として組み込むことで、有効なサンプル複雑性を低減する新しいアルゴリズムフレームワークを導入する。
• 部分的フィードバックが真の腕報酬の不偏推定値または偏りのある推定値である設定に対して、具体的なアルゴリズムを設計する。
• コアアルゴリズムを並列バンディット設定に適応させ、理論的保証を維持しながらバッチ処理による腕の引取りを可能にする。
• 信頼区間とサンプリングルールを、部分的フィードバックと遅延フィードバックの両方を考慮して設計し、正しい最良腕の同定を保証する。
• 遅延フィードバックにおける部分的フィードバックの活用を統一的な分析フレームワークで解析し、サンプル複雑性の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 完全なフィードバックが到着する前に到着する部分的フィードバックをどのように活用することで、遅延フィードバック下での最良腕同定におけるサンプル複雑性を低減できるか？
• RQ2 遅延フィードバックバンディット設定において、偏りのある推定値と偏りのない推定値の両方を用いることの理論的および実証的利点は何か？
• RQ3 提案されたフレームワークは、複数の腕を同時に引く並列マルチアームバンディット設定へと拡張可能か？
• RQ4 実世界の応用において、提案手法は標準ベースラインと比較して、サンプル効率および収束速度の点でどのように異なるか？
• RQ5 フィードバック構造（特に部分的フィードバックのタイミングと品質）は、ハイパーパramータチューニングやポリシー探索といった実用的分野における最良腕同定アルゴリズムの性能にどのような影響を及ぼすか？

主な発見

• 提案されたフレームワークは、部分的フィードバックを活用することで、偏りがある場合でも有効なサンプル複雑性を顕著に低減する。
• 部分的フィードバックを活用するアルゴリズムは、逐次的および並列的マルチアームバンディット設定の両方で、標準ベースラインを上回る性能を示す。
• 高速バッテリーチャージングや野生生物の経路構築といった実世界の応用において、より速い収束と優れたサンプル効率を達成する。
• 不偏部分的フィードバック推定器の使用は、よりタイトな信頼区間と向上した同定精度をもたらす。
• アルゴリズムの並列拡張は理論的保証を維持しながら、バッチによる探索を可能にし、スケーラブルなハイパーパramータ最適化にとって不可欠である。
• 実証的結果から、フィードバック構造、特に部分的フィードバックのタイミングと品質が、アルゴリズム性能に顕著な影響を及ぼすことが示された。