[論文レビュー] Randomized Exploration in Generalized Linear Bandits

Branislav Kveton, Manzil Zaheer+4 more|arXiv (Cornell University)|Jun 21, 2019

Advanced Bandit Algorithms Research参考文献 32被引用数 11

ひとこと要約

本稿では、一般化線形バンディットにおける2つの確率的探索アルゴリズム、GLM-TSL と GLM-FPL を提案する。GLM-TSL は、モデルパラメータの後方分布のラプラス近似からサンプリングを行う。GLM-FPL は、過去の報酬を独立したガウスノイズで摂動し、摂動されたデータに一般化線形モデルをフィットさせて探索を誘導する。両者とも、$ ilde{O}(dackslashsqrt{nackslashlog K})$ のレグレットバウンドを達成し、GLM-TSL については先行研究を改善し、非線形モデルにおけるガウスノイズ摂動のための初めてのこのようなバウンドを提供する。

ABSTRACT

We study two randomized algorithms for generalized linear bandits. The first, GLM-TSL, samples a generalized linear model (GLM) from the Laplace approximation to the posterior distribution. The second, GLM-FPL, fits a GLM to a randomly perturbed history of past rewards. We analyze both algorithms and derive $ ilde{O}(d \sqrt{n \log K})$ upper bounds on their $n$-round regret, where $d$ is the number of features and $K$ is the number of arms. The former improves on prior work while the latter is the first for Gaussian noise perturbations in non-linear models. We empirically evaluate both GLM-TSL and GLM-FPL in logistic bandits, and apply GLM-FPL to neural network bandits. Our work showcases the role of randomization, beyond posterior sampling, in exploration.

研究の動機と目的

• 従来の上界信頼区間法を越える一般化線形バンディットにおける確率的探索アルゴリズムの開発と分析を目的とする。
• ラプラス近似を活用することで、GLM バンディットにおけるトムソンサンプリングの変種のためのレグレットバウンドを改善することを目的とする。
• ニューラルネットワークなどの複雑なモデルに一般化可能な、新たな摂動ベースの探索手法（GLM-FPL）を導入することを目的とする。
• 特徴量のスパarsity仮定の下で、非線形 GLM バンディットにおけるガウスノイズ摂動のための、初めての頻度主義的レグレット保証を提供することを目的とする。
• ロジスティックバンディットとニューラルネットワーク報酬モデルを用いて、アルゴリズムの実証的妥当性を検証し、スケーラビリティを示すこと

提案手法

• GLM-TSL は、モデルパラメータの後方分布のラプラス近似から一般化線形モデルをサンプリングする。
• GLM-FPL は、過去の報酬履歴を独立したガウスノイズで摂動し、摂動されたデータに一般化線形モデルをフィットさせて探索を誘導する。
• 各ラウンドで、探索と活用のバランスを取るために確率的最尤推定を用いる。
• レグレット解析は、推定誤差を制御するための濃度不等式とフィッシャー情報行列の固有値の境界に依存する。
• 理論的解析では、固定で有界な特徴量ベクトルを仮定し、AgrawalとGoyal（2013b）の証明技法の修正版を用いて高確率的レグレットバウンドを導出する。
• 実証的評価では、ロジスティックバンディットとニューラルネットワークバンディットを用いて性能とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 GLM バンディットにおける後方分布サンプリングによる確率的探索は、既存のUCBベースの手法よりもタイトなレグレットバウンドを達成できるか？
• RQ2 報酬履歴をガウスノイズで摂動することで、非線形モデルにおいて有効な探索が可能になり、理論的保証も得られるか？
• RQ3 GLM-FPL アルゴリズムは、深層ニューラルネットワークなどの複雑なモデルに拡張可能であり、強力な性能を維持できるか？
• RQ4 GLM-TSL のレグレットは、次元 $d$ とアーム数 $K$ に依存する点で、先行研究と比較してどうなるか？
• RQ5 非線形性や高次元特徴空間が存在する状況下で、GLM-FPL アルゴリズムはどのような条件下で低レグレットを維持できるか？

主な発見

• GLM-TSL は $\tilde{O}(d\backslashsqrt{n\backslashlog K})$ のレグレットバウンドを達成し、有限アーム設定において、先行研究の最良バウンドを $\sqrt{d/\backslashlog K}$ の要因で改善する。
• GLM-FPL のレグレットバウンドは、各特徴量ベクトルが高々1つの非ゼロ成分しか持たないという仮定の下で、非線形 GLM バンディットにおけるガウスノイズ摂動のための初めてのものである。
• 実証的結果から、GLM-TSL と GLM-FPL は両者とも、ロジスティックバンディット環境で最先端の性能を達成することが示された。
• GLM-FPL はニューラルネットワークバンディットに容易に一般化され、高次元分類タスクにおいて強力な実証的性能を示した。
• GLM-FPL の摂動機構により、後方分布サンプリングが非効率な複雑なモデルでも、効果的な探索が可能になった。
• 理論的解析により、レグレットが時間と次元に対して非線形に増加することを確認し、単純な線形モデルを超えた確率的探索の有効性を裏付けた。