[論文レビュー] Garbage In, Reward Out: Bootstrapping Exploration in Multi-Armed Bandits

Branislav Kveton, Csaba Szepesvári+4 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Bandit Algorithms Research参考文献 30被引用数 13

ひとこと要約

本稿では、特別に設計された擬似報酬を用いたノンパラメトリックブートストラップを活用し、効果的な探索を可能にする多腕バンディットアルゴリズムGiroを提案する。ベルヌーイ・バンディットにおいて、$O(K\Delta^{-1}\log n)$のレグレットバウンドを証明し、パラメトリックでないブートストラップをヒューリスティックな応用を超えて原理的探索戦略として用いることの初めての形式的裏付けを確立する。

ABSTRACT

We propose a bandit algorithm that explores by randomizing its history of rewards. Specifically, it pulls the arm with the highest mean reward in a non-parametric bootstrap sample of its history with pseudo rewards. We design the pseudo rewards such that the bootstrap mean is optimistic with a sufficiently high probability. We call our algorithm Giro, which stands for garbage in, reward out. We analyze Giro in a Bernoulli bandit and derive a $O(K Δ^{-1} \log n)$ bound on its $n$-round regret, where $Δ$ is the difference in the expected rewards of the optimal and the best suboptimal arms, and $K$ is the number of arms. The main advantage of our exploration design is that it easily generalizes to structured problems. To show this, we propose contextual Giro with an arbitrary reward generalization model. We evaluate Giro and its contextual variant on multiple synthetic and real-world problems, and observe that it performs well.

研究の動機と目的

• 信頼集合や事後分布に依存しない、データ駆動型かつ調整可能な多腕バンディットおよび文脈バンディットの探索戦略の開発。
• ノンパラメトリック・ブートストラップを、バンディット問題における有効で正当化可能な探索手法として形式的に裏付けること。
• 線形バンディットや文脈バンディットなどの構造的問題へ容易に拡張可能な一般化フレームワークの設計。
• 提案手法の理論的レグレットバウンドを提供し、統計的効率性を保証すること。
• Giroおよびその文脈的拡張形を合成データおよび実世界のデータセットで実験的に検証し、優れた性能を示すこと。

提案手法

• Giroは、エージェントの歴史的報酬からノンパラメトリック・ブートストラップ標本を構築し、ブートストラップ平均の楽観的性を保証するための擬似報酬を含める。
• 各アームの選択後に、極端な値（例：1または0）を擬似報酬として割り当てることで、ブートストラップ平均が高い確率で楽観的になるようにバイアスをかける。
• アルゴリズムはブートストラップ標本内で平均報酬が最大のアームを選択し、探索と活用のバランスを効果的にとる。
• 理論的分析により、ブートストラップ平均が高確率で楽観的であることが示され、タイトなレグレットバウンドが得られる。
• 文脈依存の報酬モデルを組み込むことで、文脈バンディットへの自然な一般化が可能である。
• 全再サンプリングを回避するため、二項分布サンプリングを用いたベルヌーイ・バンディット向けの効率的実装が導出される。

実験結果

リサーチクエスチョン

• RQ1 慎重に設計された擬似報酬を用いたノンパラメトリック・ブートストラップは、多腕バンディットにおける理論的に妥当かつ実用的な探索戦略を提供できるか？
• RQ2 このようなブートストラップに基づくアルゴリズムのレグレット性能は何か？また、近似的に最適なバウンドに達することができるか？
• RQ3 このアルゴリズムは、文脈バンディットや線形バンディットなどの構造的問題へどのように一般化できるか？
• RQ4 Epsilon-greedy、OFU、Thompsonサンプリングなどの既存の探索戦略に比べ、実際の応用において本手法が優れているか？
• RQ5 事後分布サンプリングや信頼集合に依存せずに、ブートストラップによる確率的乱数化だけでも有効な探索を誘発できるか？

主な発見

• Giroは$K$腕のベルヌーイ・バンディットにおいて$O(K\Delta^{-1}\log n)$のレグレットバウンドを達成し、対数要因を除いて最適レートと一致する。
• 擬似報酬の設計により、ブートストラップ平均が高確率で楽観的であることが保証され、これがレグレット解析の鍵となる。
• 理論的分析により、事後分布サンプリングだけでなく、サンプリング分布におけるランダム化そのものが有効な探索を誘発できることを明らかにする。
• 実験的評価では、Giroは合成データおよび実世界のデータセット（AdultおよびCovertypeデータセットを含む）で競争力のある性能を示す。
• 実世界の設定では、Giroはニューラルネットワークベースのモデルを上回る性能を示しており、複雑なモデルでの低性能は探索不足によるものではなく、一般化の問題に起因していることを示唆する。
• アルゴリズムは文脈バンディットへ自然に一般化され、報酬関数が非線形であっても性能が著しく低下しない。