[論文レビュー] Weighted Linear Bandits for Non-Stationary Environments

Yoan Russac, Claire Vernade+1 more|arXiv (Cornell University)|Sep 19, 2019

Advanced Bandit Algorithms Research参考文献 1被引用数 56

ひとこと要約

本論文は、非定常環境に対する割引ベースの線形バンディットアルゴリズムである D relax LinUCB を紹介し、新しい加重最小二乗偏差境界と、ゆっくり変化するパラメータや急激に変化するパラメータに適応する d^{2/3} B_T^{1/3} T^{2/3} の動的後悔を提案する。

ABSTRACT

We consider a stochastic linear bandit model in which the available actions correspond to arbitrary context vectors whose associated rewards follow a non-stationary linear regression model. In this setting, the unknown regression parameter is allowed to vary in time. To address this problem, we propose D-LinUCB, a novel optimistic algorithm based on discounted linear regression, where exponential weights are used to smoothly forget the past. This involves studying the deviations of the sequential weighted least-squares estimator under generic assumptions. As a by-product, we obtain novel deviation results that can be used beyond non-stationary environments. We provide theoretical guarantees on the behavior of D-LinUCB in both slowly-varying and abruptly-changing environments. We obtain an upper bound on the dynamic regret that is of order d^{2/3} B\_T^{1/3}T^{2/3}, where B\_T is a measure of non-stationarity (d and T being, respectively, dimension and horizon). This rate is known to be optimal. We also illustrate the empirical performance of D-LinUCB and compare it with recently proposed alternatives in simulated environments.

研究の動機と目的

• 線形バンディット報酬の非定常性と進化するユーザ嗜好に動機づけられている。
• 割引を用いた逐次加重最小二乗に対する偏差不等式を拡張する。
• ゆっくり変化するパラメータと急激に変化するパラメータの両方に対処できる完全再帰的適応アルゴリズムを開発する。
• 非定常性の下で提案アルゴリズムの理論的後悔保証を提供する。
• シミュレーションと実データを想起させるシナリオにおいて、競合手法と比較した経験的性能を示す。

提案手法

• D-rel LinUCB を導入します。これは、指数的忘却を伴う割引加重線形回帰に基づく楽観的アルゴリズムです。
• 重み w_t と正則化 bb_t を用いた重み付き正則化最小二乗推定量と対応する信頼楕円を定義し、スケール不変性のため mu_t を lambda_t^2 に比例させて選ぶ。
• V_t と 3tilde{V}_t を含む重み付き推定量の最大偏差不等式を証明し、分散項における二乗重みの役割を強調する。
• 割引 w_t = gamma^{-t} および増加する正則化 lambda_t = gamma^{-t} lambda を用いて、安定した信頼境界と再帰更新規則を保証する。
• 急激に変化する環境とゆっくり変化する環境のための統一後悔解析を導出し、バイアス-分散分解とホライズンに合わせて調整されたパラメータ D を含む。

実験結果

リサーチクエスチョン

• RQ1 割引を用いた加重最小二乗を、逐次的で非定常な線形バンディット設定でどのように解析できるか。
• RQ2 指数的忘却を伴う楽観的線形バンディットアルゴリズムは、さまざまな非定常性の下で意味のある動的後悔境界を達成できるか。
• RQ3 ゆっくり変化する環境と急激に変化する環境における D-rel LinUCB の理論的保証（偏差境界と後悔）はどのようになるか。
• RQ4 提案手法は、高次元・低次元の設定で、スライディングウィンドウ法やチェンポイント検出ベースのアプローチと比較して、経験的にどう機能するか。

主な発見

• 本論文は、一般の重みと正則化を用いた逐次加重最小二乗推定量の最大偏差不等式を提供する。
• D-rel LinUCB は完全に再帰的で、計算複雑性は LinUCB に匹敵し、非定常性への適応に割引を用いる。
• 非定常環境における D-rel LinUCB の後悔境界は、オーダー d^{2/3} B_T^{1/3} T^{2/3} である。
• 系論: horizon T および変動 B_T の関数として gamma を調整することで、後悔は高い確率で漸近的に O(d^{2/3} B_T^{1/3} T^{2/3}) となり、定数を除けば既知の下界に一致する。
• 経験的結果は、D-rel LinUCB および SW LinUCB が急激な変化と遅いドリフトに適応し、非定常シナリオで非適応的な LinUCB を上回ることを示す。