[論文レビュー] A Simple Approach for Non-stationary Linear Bandits

Peng Zhao, Lijun Zhang+2 more|arXiv (Cornell University)|Mar 9, 2021

Advanced Bandit Algorithms Research参考文献 19被引用数 30

ひとこと要約

本論文は、非定常線形バンディットに対する従来の解析の欠陥を特定し、それを修正し、オプションの Bandits-over-Bandits メタ学習を含む簡単な RestartUCB アルゴリズムを提案して、動的後悔を 7本の式を含む式として 取扱い、 そして それぞれ、 P_T を知らなくてもよい。

ABSTRACT

This paper investigates the problem of non-stationary linear bandits, where the unknown regression parameter is evolving over time. Existing studies develop various algorithms and show that they enjoy an $\widetilde{\mathcal{O}}(T^{2/3}P_T^{1/3})$ dynamic regret, where $T$ is the time horizon and $P_T$ is the path-length that measures the fluctuation of the evolving unknown parameter. In this paper, we discover that a serious technical flaw makes their results ungrounded, and then present a fix, which gives an $\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$ dynamic regret without modifying original algorithms. Furthermore, we demonstrate that instead of using sophisticated mechanisms, such as sliding window or weighted penalty, a simple restarted strategy is sufficient to attain the same regret guarantee. Specifically, we design an UCB-type algorithm to balance exploitation and exploration, and restart it periodically to handle the drift of unknown parameters. Our approach enjoys an $\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$ dynamic regret. Note that to achieve this bound, the algorithm requires an oracle knowledge of the path-length $P_T$. Combining the bandits-over-bandits mechanism by treating our algorithm as the base learner, we can further achieve the same regret bound in a parameter-free way. Empirical studies also validate the effectiveness of our approach.

研究の動機と目的

• 未知パラメータが時間とともに進化する非定常線形バンディットの研究動機を提示する。
• 従来の解析の技術的欠陥を是正し、正当な動的後悔保証を確立する。
• ドリフトを効率的に扱う、 RestartUCB アルゴリズムを提案する（メタ学習あり/なし）。

提案手法

• 各エポック内でエポックベースの正則化最小二乗法を用いた RestartUCB を導入する。
• 自己正規化濃度不等式とパス長項に基づく上界信頼境界を導く。
• パラメータのドリフトに適応するよう H 回の反復ごとにアルゴリズムを再起動し、エポックごとの後悔を解析する。
• Bandits-over-Bandits (BOB) 機構を用いた RestartUCB が P_T を知らなくても再起動期間を選択できることを示す。

実験結果

リサーチクエスチョン

• RQ1 非定常線形バンディットに対して、単純な再起動 UCB アプローチを用いた場合、どの程度の動的後悔境界が達成できるか？
• RQ2 パラメータフリーで適応的な再起動方式は、オーレン・トューニングされた方法と同じ後悔を達成できるか？
• RQ3 Bandits-over-Bandits フレームワークは P_T の事前知識を不要にしつつ後悔保証を維持できるか？
• RQ4 窓幅・加重アプローチと比較して、メモリと計算量の観点でどのような利点・欠点があるか？
• RQ5 従来の解析で特定された技術的欠陥の影響は何か、どのように修正できるか？

主な発見

• RestartUCB は定理2に従って動的後悔を 取扱い 7本の式を含む式として 7bd のように達成する。
• 最適に選択された再起動期間を用いた場合、P_T が既知の場合に 7/8 のオーダーでの動的後悔を達成する。
• RestartUCB-BOB は P_T の事前知識の必要性を除去し、定理3 に従って同じ 7/8 の 3/4 の P_T^{1/4} の動的後悔境界を維持する。
• 本論文は従来の解析の技術的ギャップを特定し、補うことによって Lemma 1 および関連結果を通じて有効な境界を保証する。
• WindowUCB と比較して、RestartUCB アプローチはデータを保存せず、一定のメモリとオンライン更新で動作する。