[論文レビュー] Nearly Optimal Algorithms for Piecewise-Stationary Cascading Bandits

Lingda Wang, Huozhi Zhou+3 more|arXiv (Cornell University)|Sep 12, 2019

Advanced Bandit Algorithms Research参考文献 47被引用数 6

ひとこと要約

本稿では、変化点検出に一般化尤度比検定（GLRT）を用いる、分(piecewise)-stationaryなカスケードバンディット問題に対してほぼ最適な2つのアルゴリズム、GLRT-CascadeUCBおよびGLRT-CascadeKL-UCBを提案する。これらのアルゴリズムは、$\mathcal{O}(√{NLT\log T})$ のレグレットバウンドを達成し、$\Omega(√{NLT})$ のミニマックス下界と$√{\log T}$ 要因を除いて一致する。また、$L$ への依存性を低減し、調整パrameter も少なくすることで、先行研究を上回る性能を発揮する。

ABSTRACT

Cascading bandit (CB) is a popular model for web search and online advertising, where an agent aims to learn the $K$ most attractive items out of a ground set of size $L$ during the interaction with a user. However, the stationary CB model may be too simple to apply to real-world problems, where user preferences may change over time. Considering piecewise-stationary environments, two efficient algorithms, exttt{GLRT-CascadeUCB} and exttt{GLRT-CascadeKL-UCB}, are developed and shown to ensure regret upper bounds on the order of $\mathcal{O}(\sqrt{NLT\log{T}})$, where $N$ is the number of piecewise-stationary segments, and $T$ is the number of time slots. At the crux of the proposed algorithms is an almost parameter-free change-point detector, the generalized likelihood ratio test (GLRT). Comparing with existing works, the GLRT-based algorithms: i) are free of change-point-dependent information for choosing parameters; ii) have fewer tuning parameters; iii) improve at least the $L$ dependence in regret upper bounds. In addition, we show that the proposed algorithms are optimal (up to a logarithm factor) in terms of regret by deriving a minimax lower bound on the order of $Ω(\sqrt{NLT})$ for piecewise-stationary CB. The efficiency of the proposed algorithms relative to state-of-the-art approaches is validated through numerical experiments on both synthetic and real-world datasets.

研究の動機と目的

• ユーザーの好みが時間とともに変化する現実世界の応用において、定常的カスケードバンディットモデルの限界を是正すること。
• 変化点依存のパrameter を必要とせず、ユーザーの好みの変化点を自動的に検出できる、能動的適応型アルゴリズムの開発。
• アイテム数$L$ への依存性を低減することで、分(piecewise)-stationaryなカスケードバンディットにおけるレグレットバウンドの改善。
• 分(piecewise)-stationaryなカスケードバンディットのミニマックスレグレット下界を確立し、アルゴリズムの最適性を検証すること。
• 合成データおよび実世界のデータセット上で、提案手法が最先端の手法を実用的に上回ることの実証。

提案手法

• 提案手法は、パラメータフリーの変化点検出器として一般化尤度比検定（GLRT）を用い、ユーザーの好み分布の変化を同定する。
• GLRT-CascadeUCBおよびGLRT-CascadeKL-UCBは、カスケードバンディットにおけるUCBおよびKL-UCBの原則とGLRTを統合することで導出される。
• 変化点が検出された段階で、探索方針をリセットすることで、動的に変化する環境に適応し、継続的な学習を保証する。
• レグレット解析では、濃度不等式と変化点検出誤差バウンドを活用し、$\mathcal{O}(\sqrt{NLT\log T})$ の上界を導出する。
• ミニマックスレグレット下界$\Omega(\sqrt{NLT})$ を導出し、提案手法が$√{\log T}$ 要因を除いてほぼ最適であることを証明する。
• 数値実験では、$L=6$、$K=2$、$T=90000$、$N=9$ の条件下で合成データとYahoo!ニュースクリックデータセットを用い、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 GLRTのようなパラメータフリーの変化点検出法を、分(piecewise)-stationaryなカスケードバンディットに効果的に適用することで、適応性の向上と調整の削減が可能かどうか。
• RQ2 分(piecewise)-stationary環境下での能動的適応型カスケードバンディットアルゴリズムの理論的レグレットバウンドは何か。
• RQ3 提案手法のレグレットバウンドは、$L$、$N$、$T$ への依存性において、既存の受動的適応型手法と比較してどのように異なるか。
• RQ4 提案手法のレグレット上界は対数要因を除いて最適であるか。これはミニマックス下界によって確認可能か。
• RQ5 実世界および合成データ上で、提案手法は最先端のベースラインと比較して実用的に優れているか。

主な発見

• 提案されたGLRT-CascadeUCBおよびGLRT-CascadeKL-UCBは、$\mathcal{O}(\sqrt{NLT\log T})$ のレグレットバウンドを達成し、先行の受動的適応型手法と比較して、それぞれ$√{L}$ および$√{L\log T}$ の要因で改善されている。
• 分(piecewise)-stationaryなカスケードバンディットのミニマックスレグレット下界は$\Omega(\sqrt{NLT})$ として確立され、提案手法が$√{\log T}$ 要因を除いて最適であることを証明している。
• 合成データでは、GLRT-CascadeUCBおよびGLRT-CascadeKL-UCBは$T=90000$ の間に累積レグレットが$527.93 \pm 25.20$ および$440.93 \pm 45.54$ となり、CascadeSWUCB（$664.84 \pm 29.81$）およびCascadeDUCB（$1180.30 \pm 20.22$）を顕著に上回った。
• Yahoo!データセットでは、提案手法はそれぞれ$1235.21 \pm 54.59$ および$856.77 \pm 67.16$ のレグレットを達成し、CascadeSWUCB（$1519.56 \pm 52.23$）およびCascadeDUCB（$3226.97 \pm 39.37$）を上回った。
• GLRTベースの手法は、合成データおよびYahoo!データセットの両方で、変化点を正確かつ迅速に検出しており、真の変化点から平均100～200ステップの範囲内で検出時間を達成した。
• Yahoo!データセットでは仮定2に反する事例が見られたが、それでもGLRTベースの手法は効果的に変化点を検出でき、検出時間は実際の変化点に近かった。