[論文レビュー] Bootstrapping Upper Confidence Bound

Botao Hao, Yasin Abbasi Yadkori+2 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、乗数ブートストラップと2次補正を用いた、データに依存する非パラメトリックな上位信頼区間（UCB）アルゴリズムを導入し、オンライン意思決定における過剰探索の低減を図る。従来のサブガウス型よりも弱い尾部仮定のもとでも、よりきついレグレットバウンドを達成しており、マルチアームバンディットおよび線形バンディット問題において、ベースラインと比較して顕著なレグレット低減を示している。

ABSTRACT

Upper Confidence Bound (UCB) method is arguably the most celebrated one used in online decision making with partial information feedback. Existing techniques for constructing confidence bounds are typically built upon various concentration inequalities, which thus lead to over-exploration. In this paper, we propose a non-parametric and data-dependent UCB algorithm based on the multiplier bootstrap. To improve its finite sample performance, we further incorporate second-order correction into the above construction. In theory, we derive both problem-dependent and problem-independent regret bounds for multi-armed bandits under a much weaker tail assumption than the standard sub-Gaussianity. Numerical results demonstrate significant regret reductions by our method, in comparison with several baselines in a range of multi-armed and linear bandit problems.

研究の動機と目的

• 集中不等式から導かれる保守的な信頼区間が原因で生じるUCB手法における過剰探索を是正すること。
• 観測されたデータ分布に適応するデータ依存型の非パラメトリックなUCBアプローチを開発すること。
• 信頼区間推定における2次補正を用いて、有限標本性能を向上させること。
• 問題依存および問題独立の両設定において、サブガウス型よりも弱い尾部仮定のもとでのレグレットバウンドを確立すること。
• 提案手法の優位性を、多様なマルチアームおよび線形バンディット環境におけるレグレット低減の観点から実証的に検証すること。

提案手法

• 本手法は乗数ブートストラップを用いてデータ依存型の信頼区間を構築し、パラメトリックな仮定の代わりにリサンプリングに基づく推論を採用する。
• ブートストラップに基づく信頼区間の精度を高めるために2次補正を統合する。
• アルゴリズムはUCBフレームワーク内に実装され、ブートストラップ分布から導かれる上位信頼区間に基づいて行動を選択する。
• 集中不等式への依存を回避し、実証的分布的性質を活用することで、よりきついバウンドを達成する。
• 理論的分析により、サブガウス型よりも弱い尾部条件のもとでのレグレットバウンドを導出する。これにより、適用範囲が拡大される。
• 本手法はマルチアームバンディットおよび線形バンディット設定の両方で適用可能であり、一貫した性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックでデータに依存する信頼区間の構築は、従来のUCB手法よりもレグレットの観点で優れていると期待できるか？
• RQ2 提案されたブートストラップベースのUCB手法は、サブガウス型よりも弱い尾部仮定のもとでどのように性能を発揮するか？
• RQ3 2次補正は、有限標本におけるレグレット性能をどの程度向上させるか？
• RQ4 マルチアームバンディットおよび線形バンディット問題の両方において、標準UCBおよび他のベースラインと比較して、本手法はより良いレグレット低減を達成するか？
• RQ5 最小限のモーメント条件のもとで、提案手法の理論的レグレットバウンドは何か？

主な発見

• 提案手法は、マルチアームバンディットおよび線形バンディット問題の両方において、複数のベースラインUCBアルゴリズムと比較して顕著なレグレット低減を達成している。
• 理論的分析により、サブガウス型よりも弱い尾部仮定のもとでの有効なレグレットバウンドが確立されており、適用範囲が拡大されている。
• 乗数ブートストラップによるデータ依存型信頼区間は、集中不等式に基づくアプローチと比較して過剰探索が低減されている。
• 2次補正は、特に小標本領域において、有限標本性能を顕著に向上させている。
• 実証的結果は、多様なバンディット環境において一貫した性能向上を確認しており、ロバストネスと実用的有用性を示している。
• 非サブガウス型ノイズ下でも、強力な理論的保証を維持しながら、実用的レグレットの改善を達成している。