[論文レビュー] Non-stationary Linear Bandits Revisited.

Peng Zhao, Lijun Zhang|arXiv (Cornell University)|Mar 9, 2021

Advanced Bandit Algorithms Research参考文献 6被引用数 7

ひとこと要約

この論文は、非定常線形バンディットの先行分析における根本的な技術的欠陥を特定し、動的リグレットが $ widetilde{O}(T^{2/3}(1+P_T)^{1/3})$ であると主張していたものの、分析を是正し、変更を加えずに既存のアルゴリズムに対して $ widetilde{O}(T^{3/4}(1+P_T)^{1/4})$ の再定義されたリグレットバウンドを確立した。また、特定の解析的量に対する不可能性結果を示し、バンディット・オーバー・バンディット機構を用いてパラメータフリーの適応を可能にした。

ABSTRACT

In this note, we revisit non-stationary linear bandits, a variant of stochastic linear bandits with a time-varying underlying regression parameter. Existing studies develop various algorithms and show that they enjoy an $\widetilde{O}(T^{2/3}(1+P_T)^{1/3})$ dynamic regret, where $T$ is the time horizon and $P_T$ is the path-length that measures the fluctuation of the evolving unknown parameter. However, we discover that a serious technical flaw makes the argument ungrounded. We revisit the analysis and present a fix. Without modifying original algorithms, we can prove an $\widetilde{O}(T^{3/4}(1+P_T)^{1/4})$ dynamic regret for these algorithms, slightly worse than the rate as was anticipated. We also show some impossibility results for the key quantity concerned in the regret analysis. Note that the above dynamic regret guarantee requires an oracle knowledge of the path-length $P_T$. Combining the bandit-over-bandit mechanism, we can also achieve the same guarantee in a parameter-free way.

研究の動機と目的

• 先行研究で提示された非定常線形バンディットのリグレット解析における根本的な技術的欠陥を特定し是正すること。
• 是正されたフレームワークの下で既存のアルゴリズムを再分析し、よりタイトで正当な動的リグレットバウンドを導出すること。
• 元のリグレット解析に使用された特定の主要な量の存在に対する不可能性結果を確立すること。
• バンディット・オーバー・バンディット機構を用いて、パラメータフリーの設定へのリグレット保証を拡張すること。

提案手法

• 元の解析における欠陥を是正するため、修正された濃度不等式を用いてリグレット分解を再表現すること。
• リグレットの推定誤差およびトラッキング誤差の成分に対する洗練された分析を導入し、$T^{3/4}$ の依存性を達成すること。
• 先行研究で仮定されていた特定の非最適性測度が存在しないことの不可能性結果を証明すること。
• パス長 $P_T$ のオракル知識を必要としないように、バンディット・オーバー・バンディット機構を適用すること。
• 元のアルゴリズムを変更せずに、修正された理論的解析を通じて新しいリグレットバウンドを証明すること。

実験結果

リサーチクエスチョン

• RQ1 技術的欠陥を是正した後、既存の非定常線形バンディットアルゴリズムの正しい動的リグレットバウンドは何か？
• RQ2 是正された解析の下で、元のアルゴリズムは $ widetilde{O}(T^{3/4}(1+P_T)^{1/4})$ よりも良いリグレットレートを達成できるか？
• RQ3 不可能性結果が示唆するように、リグレット分解に使用される解析的量に根本的な制限はあるか？
• RQ4 パス長 $P_T$ のオラクル知識を必要とせずに、同じリグレット保証を達成することは可能か？

主な発見

• 元の $\widetilde{O}(T^{2/3}(1+P_T)^{1/3})$ 動的リグレットの主張は、解析における技術的欠陥のため無効である。
• 是正された解析により、変更を加えずに既存のアルゴリズムに対して $ widetilde{O}(T^{3/4}(1+P_T)^{1/4})$ の動的リグレットバウンドが確立された。
• 先行研究で有界であると仮定されていた特定の主要な量の存在について、不可能性結果が証明された。
• バンディット・オーバー・バンディット機構を用いることで、$P_T$ のオラクル知識を必要としないパラメータフリーのリグレット保証が達成された。