[論文レビュー] Approximations of the Restless Bandit Problem

Steffen Grünewälder, Azadeh Khaleghi|arXiv (Cornell University)|Feb 22, 2017

Advanced Bandit Algorithms Research参考文献 11被引用数 8

ひとこと要約

本稿では、$φ$-mixing報酬依存性下での restless bandit 問題に対する tractable な近似を提案し、修正されたUCBアルゴリズムが最高の定常平均に関して対数的レグレットを達成することを示している。主な貢献は、$φ$-mixing係数の和に依存するレグレットバウンドを提示したことであり、依存性が消失する際にi.i.d.ケースに回復する。

ABSTRACT

The multi-armed restless bandit problem is studied in the case where the pay-off distributions are stationary $φ$-mixing. This version of the problem provides a more realistic model for most real-world applications, but cannot be optimally solved in practice, since it is known to be PSPACE-hard. The objective of this paper is to characterize a sub-class of the problem where {\em good} approximate solutions can be found using tractable approaches. Specifically, it is shown that under some conditions on the $φ$-mixing coefficients, a modified version of UCB can prove effective. The main challenge is that, unlike in the i.i.d. setting, the distributions of the sampled pay-offs may not have the same characteristics as those of the original bandit arms. In particular, the $φ$-mixing property does not necessarily carry over. This is overcome by carefully controlling the effect of a sampling policy on the pay-off distributions. Some of the proof techniques developed in this paper can be more generally used in the context of online sampling under dependence. Proposed algorithms are accompanied with corresponding regret analysis.

研究の動機と目的

• 依存的でi.i.d.でない報酬下での restless bandit 問題の計算的非効率性に対処すること。
• 計算可能近似アルゴリズムを設計可能な restless bandit 問題の部分クラスを同定すること。
• $φ$-mixing依存性がレグレットおよび最適方策のパフォーマンスに与える影響を分析すること。
• 弱い依存性を持つ報酬下で効果的なUCB型アルゴリズムを開発し、そのレグレットバウンドを確立すること。
• 混合係数および定常平均を用いて、近似品質に関する理論的保証を提供すること。

提案手法

• 報酬系列が定常的$φ$-mixingであると仮定し、長距離の時系列的およびアーム間依存性をモデル化する。
• サンプリング方策が依存的報酬分布に与える影響を考慮した修正されたUCBアルゴリズムを導入する。
• $φ$-mixing過程に特化した集中不等式を用いて、提案アルゴリズムのレグレットをバウンドする。
• 期待レグレットを定常平均および依存構造に関連する成分に分解することで、レグレットバウンドを確立する。
• 分布的特性へのサンプリングの影響を制御するため、共分散関数に Hölder 連続性の仮定を適用する。
• 条件付き独立性の議論および密度バウンド技術を用いて、劣悪なアーム選択によるレグレット寄与の上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 どの程度の$φ$-mixing係数の条件下で、restless bandit 問題における最適スイッチング戦略が、最高の定常平均を持つアームを選択することによって近似可能となるか？
• RQ2 依存的報酬過程に対して、どのようにして楽観的探索戦略を適応させれば、サブ線形レグレットを達成できるか？
• RQ3 報酬過程における時系列的およびアーム間依存性の強さが、レグレットバウンドにどのように依存するか？
• RQ4 $φ$-mixingフレームワークを用いて、i.i.d.報酬を超えるUCBスタイルのアルゴリズムを一般化できるか？
• RQ5 定常平均に基づく緩和問題の近似誤差は、報酬過程の依存度に応じてどのようにスケーリングされるか？

主な発見

• 最高の定常平均を持つアームを選択する近似誤差は有界であり、$φ_1$が小さくなるにつれて小さくなる。これは依存性が弱まることを示唆する。
• 修正されたUCBアルゴリズムは、$φ$-mixing仮定下で、最高の定常平均に関して対数的レグレットを達成する。
• レグレットバウンドは$φ$-mixing係数の和$\sum_i \varphi_i$に比例し、依存性が消失する際にはAuerら（2002）の古典的対数的レグレットバウンドに回復する。
• 開発された証明技法は、特に条件付き独立性および密度バウンドを通じて、依存過程下でのオンラインサンプリングに一般化可能である。
• 解析により、サンプリング方策がもたらす依存性は、サンプル報酬の同時分布を注意深く取り扱うことで制御可能であることが示された。
• Hölder連続性共分散関数のケースでは、さらに精緻化されたレグレットバウンドが得られ、そのバウンドは指数$\alpha$および係数$c$に依存することが示された。