[論文レビュー] An Efficient Algorithm For Generalized Linear Bandit: Online Stochastic Gradient Descent and Thompson Sampling

Qin Ding, Cho‐Jui Hsieh+1 more|arXiv (Cornell University)|Jun 7, 2020

Advanced Bandit Algorithms Research参考文献 31被引用数 8

ひとこと要約

本稿では、一般化線形バンディットにおける効率的なアルゴリズムである SGD-TS を提案する。この手法は、オンライン確率的勾配降下法（SGD）とトムソンサンプリングを組み合わせることで、$×sim O(\sqrt{T})$ のレグレットを達成し、時間計算量 $O(Td)$ の線形時間複雑度を実現する。トムソンサンプリングによる探索の再キャリブレーションと、行列の逆行列計算を回避することで、1ラウンドあたりの時間とメモリ複雑度が定数に保たれ、最先端の性能を達成する。

ABSTRACT

We consider the contextual bandit problem, where a player sequentially makes decisions based on past observations to maximize the cumulative reward. Although many algorithms have been proposed for contextual bandit, most of them rely on finding the maximum likelihood estimator at each iteration, which requires $O(t)$ time at the $t$-th iteration and are memory inefficient. A natural way to resolve this problem is to apply online stochastic gradient descent (SGD) so that the per-step time and memory complexity can be reduced to constant with respect to $t$, but a contextual bandit policy based on online SGD updates that balances exploration and exploitation has remained elusive. In this work, we show that online SGD can be applied to the generalized linear bandit problem. The proposed SGD-TS algorithm, which uses a single-step SGD update to exploit past information and uses Thompson Sampling for exploration, achieves $ ilde{O}(\sqrt{T})$ regret with the total time complexity that scales linearly in $T$ and $d$, where $T$ is the total number of rounds and $d$ is the number of features. Experimental results show that SGD-TS consistently outperforms existing algorithms on both synthetic and real datasets.

研究の動機と目的

• 各ラウンドにおける繰り返しの行列逆行列計算と最尤推定（MLE）に起因する、$O(T)$ のメモリと $O(T^2)$ の時間計算量を要する従来の一般化線形バンディット（GLB）アルゴリズムの高い計算コストを軽減すること。
• アンバイアスな勾配推定と探索・活用のバランスの課題を克服し、文脈付きバンディットにおけるオンライン確率的勾配降下法（SGD）に理論的保証を適用すること。
• 低レグレットを維持しつつ、1ラウンドあたりの時間とメモリ複雑度を定数に保つ手法を設計し、リアルタイム応用に適したものとすること。
• 実験的に、提案手法が合成データおよび実世界のデータセットにおいて、既存の最先端手法を常に上回ることを示すこと。

提案手法

• 各ラウンドで1ステップのSGD更新を用いることで、新規に観測された報酬に基づきモデルパラメータを段階的に更新し、1ラウンドあたりの時間とメモリ複雑度を $O(1)$ に削減する。
• SGD推定子のバイアスをMLEと比較して補正するため、再キャリブレートされた事後分布からのサンプリングを用いてトムソンサンプリングによる探索を統合する。
• 各ステップでの $d \times d$ 行列の逆行列計算を避けるために、オンラインSGD更新を活用し、MLEを求めるか行列を逆算するのよりも計算が安価である。
• SGD更新のi.i.d.でない性質とバンディット設定における部分的フィードバックを考慮し、探索の成分を再キャリブレートして十分な探索を確保する。
• 理論的分析では、特徴ベクトルに「多様性」条件を仮定し、時間経過とともに十分な情報の獲得が保証されることを想定する。
• 実験では、クラスターセンターやクラスターからのランダムサンプルから得られる特徴ベクトルを用いて、ロジスティックバンディットに適用する。

実験結果

リサーチクエスチョン

• RQ1 オンライン確率的勾配降下法は、理論的レグレット保証を伴って一般化線形バンディットに適応可能か？
• RQ2 SGDベースのパラメータ更新と組み合わせたバンディット設定において、トムソンサンプリングを効果的に再キャリブレートすることで、十分な探索が可能か？
• RQ3 各ラウンドでの行列の逆行列計算とMLE計算を回避することで、計算量とメモリ使用量が著しく削減されつつ、レグレット性能に悪影響を与えないか？
• RQ4 実データおよび合成データにおいて、提案手法は既存のGLB手法と比較して、累積レグレットと最適アームの選択頻度の点で優れているか？

主な発見

• 多様性仮定の下で、SGD-TSは $\tilde{O}(\sqrt{T})$ のレグレットバウンドを達成し、最先端のGLBアルゴリズムと同等の理論的性能を示す。
• 時間計算量は $T$ と $d$ に対して線形に増加し、合計時間計算量は $O(Td)$ となる。これは、今日までに開発された最も効率的なGLBアルゴリズムである。
• 合成データおよび実世界のデータセット（$d=55$ の特徴を持つフォレストカバータイプデータセット含む）の両方において、SGD-TSは累積レグレットと最良アームの選択頻度の両面で、既存の手法を一貫して上回る。
• シナリオ1（10特徴）では、SGD-TSはUCB-GLM、GLM-TSL、GLOCを上回り、後者3つは頻繁に最適でないアームに固定されてしまう。
• シナリオ2（55特徴、動的特徴）では、SGD-TSは依然として最良の性能を示し、GLOCを含む他の手法も最良のアームを十分に特定できていない。
• 実行時間の測定結果から、SGD-TSは各ラウンドでの行列の逆行列計算とMLE計算を回避するため、UCB-GLM、GLM-TSL、SupCB-GLM、GLOCと比較して、最も低い計算コストを実現している。