[論文レビュー] Algorithms for Non-Stationary Generalized Linear Bandits

Yoan Russac, Olivier Cappé+1 more|arXiv (Cornell University)|Mar 23, 2020

Advanced Bandit Algorithms Research参考文献 18被引用数 10

ひとこと要約

本稿では、急激な環境パラメータの変化に適応できる非定常一般化線形バンディットのための2つの上信頼区間（UCB）アルゴリズム—SW-GLUCB と D-GLUCB—を提案する。これらのアルゴリズムは、スライディングウインドウと割引最大尤度推定器を用いる。主な理論的貢献は、$ d $ がパラメータ次元、$ T $ が時間枠、$ \Gamma_T $ がブレイクポイント数であるとき、確率的動的リグレット境界が $ d^{2/3} \Gamma_T^{1/3} T^{2/3} $ のオーダーであることを示したことである。

ABSTRACT

The statistical framework of Generalized Linear Models (GLM) can be applied to sequential problems involving categorical or ordinal rewards associated, for instance, with clicks, likes or ratings. In the example of binary rewards, logistic regression is well-known to be preferable to the use of standard linear modeling. Previous works have shown how to deal with GLMs in contextual online learning with bandit feedback when the environment is assumed to be stationary. In this paper, we relax this latter assumption and propose two upper confidence bound based algorithms that make use of either a sliding window or a discounted maximum-likelihood estimator. We provide theoretical guarantees on the behavior of these algorithms for general context sequences and in the presence of abrupt changes. These results take the form of high probability upper bounds for the dynamic regret that are of order d^2/3 G^1/3 T^2/3 , where d, T and G are respectively the dimension of the unknown parameter, the number of rounds and the number of breakpoints up to time T. The empirical performance of the algorithms is illustrated in simulated environments.

研究の動機と目的

• 既存の一般化線形バンディットアルゴリズムが定常環境を仮定しているという限界に対処すること。これは、ニュース推薦やオンライン医療など実世界の応用においてしばしば現実的でない。
• 変化点の事前知識がなくても、基礎となる報酬生成パラメータ $ \theta^\star $ の急激な変化に適応できるアルゴリズムの開発。
• 時間変動するパラメータを伴う非定常環境における動的リグレットの理論的保証、特に急激な変化の下での保証。
• 非定常状態において、線形バンディットベースライン（例：LinUCB）やロジスティックUCBよりも、一般化線形モデルの非線形構造を活用して性能を向上させる。

提案手法

• SW-GLUCB を提案。固定サイズのスライディングウインドウを用いて $ \theta^\star $ の最大尤度推定値を計算し、古くなったデータを破棄することで変化に適応する。
• D-GLUCB を提案。割り当て係数を用いて過去の観測に指数的減衰重みを適用し、古いデータを徐々に忘れて変化するパラメータに適応する。
• 一般化線形モデル枠組み内での罰則付き最大尤度推定値に基づく上信頼区間（UCB）戦略を採用。信頼区間は集中不等式から導出。
• 時間依存の行動集合 $ \mathcal{A}_t \subset \mathbb{R}^d $ を用い、文脈ベクトルに i.i.d. 仮定を必要としない。
• 初期化の問題を回避するための罰則付き推定器を導入。これにより、初期データに関する強い仮定が不要になる。
• 理論的分析により、一般な文脈系列と急激な変化の下で、$ d $、$ T $、$ \Gamma_T $ に明示的な依存関係を持つ高確率的動的リグレット境界を導出。

実験結果

リサーチクエスチョン

• RQ1 一般化線形バンディットのUCBベースのアルゴリズムは、パラメータ $ \theta^\star $ の急激な変化を伴う非定常環境に対応できるか？
• RQ2 真のパラメータが時間とともに変化する状況において、スライディングウインドウと割引推定器の性能と適応性はどのように比較できるか？
• RQ3 このような適応的アルゴリズムが非定常一般化線形バンディット設定で達成可能な理論的動的リグレット境界は何か？
• RQ4 提案されたアルゴリズムは、シミュレーションおよび実世界の非定常環境において、標準的な線形バンディットおよびロジスティックUCBベースラインを上回る性能を示せるか？

主な発見

• 提案された SW-GLUCB と D-GLUCB アルゴリズムは、$ d^{2/3} \Gamma_T^{1/3} T^{2/3} $ のオーダーの高確率的動的リグレット境界を達成した。これは、急激な変化を伴う非定常一般化線形バンディットに対して、初めての結果である。
• 実験結果から、SW-GLUCB と D-GLUCB は変化点を正確に追跡するが、LinUCB や LogisticUCB は適応できず発散することが示された。
• 複数の変化点を持つ2次元のシミュレーション環境では、SW-GLUCB と D-GLUCB は各変化点後に真のパラメータに収束するが、LinUCB や LogisticUCB は長い定常期間後でさえ回復しなかった。
• Pima Indian Diabetes データセット（$ t = 1000 $ で人工的に非定常性を導入）において、SW-GLUCB と D-GLUCB は変化後、定常ベースラインよりも速やかに分類性能を回復した。
• スライディングウインドウと割引アプローチは線形バンディットベースライン（SW-LinUCB）を上回ったが、SW-GLUCB と D-GLUCB はロジスティックリンク関数の適切なモデル化により、より高い精度を示した。
• 報酬分布が完全にロジスティックでない場合（モデルの誤指定）であっても、SW-GLUCB と D-GLUCB は頑健な性能を維持した。これは、実世界応用における実用的価値を示している。