[論文レビュー] Perturbed-History Exploration in Stochastic Linear Bandits

Branislav Kveton, Csaba Szepesvári+2 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Bandit Algorithms Research参考文献 21被引用数 7

ひとこと要約

本稿では、実際の報酬とi.i.d.な擬似報酬を混合することで、探索と活用のバランスをとるための摂動履歴探索を用いる、新しい確率的線形バンディットアルゴリズムLinPHEを提案する。重み付きベルヌーイ変数の和に関する新しい集中・非集中不等式を用いることで、$\tilde{O}(d\sqrt{n})$ のギャップフリーなリグレットバウンドを達成する。ここで$d$は特徴次元を表す。

ABSTRACT

We propose a new online algorithm for cumulative regret minimization in a stochastic linear bandit. The algorithm pulls the arm with the highest estimated reward in a linear model trained on its perturbed history. Therefore, we call it perturbed-history exploration in a linear bandit (LinPHE). The perturbed history is a mixture of observed rewards and randomly generated i.i.d. pseudo-rewards. We derive a $ ilde{O}(d \sqrt{n})$ gap-free bound on the $n$-round regret of LinPHE, where $d$ is the number of features. The key steps in our analysis are new concentration and anti-concentration bounds on the weighted sum of Bernoulli random variables. To show the generality of our design, we generalize LinPHE to a logistic model. We evaluate our algorithms empirically and show that they are practical.

研究の動機と目的

• 一般化線形バンディットにおいて、信頼集合が緩く、事後分布サンプリングが計算的に高価であるというOFUやThompson Samplingなどの既存の探索戦略の限界を解決すること。
• 事後分布サンプリングや緩い信頼集合に依存しない、シンプルで一般化可能な探索メカニズムの開発。
• 摂動された学習データに基づく新しい探索戦略に対する理論的保証の提供。
• 提案手法をロジスティックバンディットに拡張し、線形モデルを超えた一般性を示すこと。

提案手法

• 実際の報酬と、実際の報酬と同じ分布族に従うi.i.d.な擬似報酬を混合することで、摂動された履歴を構築する。
• モデルフィッティングにオフラインオラクルを用い、摂動された履歴上で線形モデルを訓練してアーム報酬を推定する。
• 各ラウンドで摂動モデルに基づく推定報酬が最大となるアームを選択する。
• 正則化付き加重最小二乗法を用いて、摂動データからパラメーターベクトル$\theta_t$を推定する。
• 重み付きベルヌーイ確率変数の和に関する、新しい集中・非集中不等式を用いて、アルゴリズムの振る舞いを分析する。
• 同じ摂動履歴上で訓練されたロジスティック回帰モデルを用いることで、LinPHEをロジスティックバンディット（LogPHE）に一般化する。

実験結果

リサーチクエスチョン

• RQ1 事後分布サンプリングや信頼集合に依存せずに、シンプルな摂動ベース探索戦略が、確率的線形バンディットで最適なリグレットバウンドを達成できるか？
• RQ2 摂動された学習データに基づく探索戦略に対して、線形バンディットでどのような理論的保証を得られるか？
• RQ3 重み付きベルヌーイ確率変数の和に関する新しい集中・非集中不等式が、LinPHEの解析にどのように寄与するか？
• RQ4 摂動履歴探索フレームワークは、ロジスティック回帰のような非線形モデルへ一般化可能か？
• RQ5 LinPHEは、リグレットと実用的性能の面でThompson Samplingと比べてどのように差がつくか？

主な発見

• LinPHEは、$n$ラウンドの確率的線形バンディットにおいて、$d$が特徴数であるとき、$\tilde{O}(d\sqrt{n})$ のギャップフリーなリグレットバウンドを達成する。
• 解析は、i.i.d.ベルヌーイ確率変数の和に関する新しい集中・非集中不等式に依存している。
• i.i.d.な擬似報酬を用いた摂動機構により、事後分布サンプリングや緩い信頼集合を必要とせずに十分な探索が実現される。
• アルゴリズムはロジスティックバンディットへ一般化可能であり、同じリグレット保証を有する新しいアルゴリズムLogPHEが得られる。
• 実験的評価では、異なる原理に基づいているにもかかわらず、LinPHEおよびLogPHEは実用的にThompson Samplingと同等の性能を示す。
• 摂動の分散は、不確実性の面前での楽観的推定を保証するために、慎重に調整されており、効果的な探索を可能にする。