[論文レビュー] Be Aware of Non-Stationarity: Nearly Optimal Algorithms for Piecewise-Stationary Cascading Bandits.

Lingda Wang, Huozhi Zhou+3 more|arXiv (Cornell University)|Sep 12, 2019

Advanced Bandit Algorithms Research参考文献 36被引用数 3

ひとこと要約

本稿では、ユーザーの好みの変化を検出するためにパrameterフリーの一般化尤度比検定（GLRT）を用いた、ほぼ最適なアルゴリズムである GLRT-CascadeUCB と GLRT-CascadeKL-UCB を提案する。これらのアルゴリズムは、部分定常的カスケードバンディット問題に対して、$\mathcal{O}(\sqrt{NLT\log T})$ のレグレット上界を達成し、$\Omega(\sqrt{NLT})$ のミニマックス下界と対数因子を除いて一致するため、少ない調整パrameterと $L$ への依存性の向上を伴いながらほぼ最適性を示している。

ABSTRACT

Cascading bandit (CB) is a popular model for web search and online advertising, where an agent aims to learn the $K$ most attractive items out of a ground set of size $L$ during the interaction with a user. However, the stationary CB model may be too simple to apply to real-world problems, where user preferences may change over time. Considering piecewise-stationary environments, two efficient algorithms, exttt{GLRT-CascadeUCB} and exttt{GLRT-CascadeKL-UCB}, are developed and shown to ensure regret upper bounds on the order of $\mathcal{O}(\sqrt{NLT\log{T}})$, where $N$ is the number of piecewise-stationary segments, and $T$ is the number of time slots. At the crux of the proposed algorithms is an almost parameter-free change-point detector, the generalized likelihood ratio test (GLRT). Comparing with existing works, the GLRT-based algorithms: i) are free of change-point-dependent information for choosing parameters; ii) have fewer tuning parameters; iii) improve at least the $L$ dependence in regret upper bounds. In addition, we show that the proposed algorithms are optimal (up to a logarithm factor) in terms of regret by deriving a minimax lower bound on the order of $\Omega(\sqrt{NLT})$ for piecewise-stationary CB. The efficiency of the proposed algorithms relative to state-of-the-art approaches is validated through numerical experiments on both synthetic and real-world datasets.

研究の動機と目的

• 実際のウェブ検索やオンライン広告における時間的に変化するユーザーの好みを捉えることができない定常的カスケードバンディットモデルの限界を克服すること。
• 変化点の事前知識が不要な、時間的に変化するユーザーの好みに適応可能な効率的なアルゴリズムを設計すること。
• 従来の手法と比較して調整パrameterを減らし、レグレット上界におけるアイテム集合サイズ $L$ への依存性を改善すること。
• 問題に対するミニマックス下界 $\Omega(\sqrt{NLT})$ を導出し、提案手法がこの下界とほぼ一致することを示すことにより、理論的最適性を確立すること。
• 合成データおよび実世界のデータを用いた広範な実験を通じて、提案手法の有効性を検証すること。

提案手法

• 変化点の統計的性質やユーザーが事前に指定するパrameterを必要としない、一般化尤度比検定（GLRT）を変化点検出器として導入する。
• カスケードバンディットに適したUCBおよびKL-UCBの原理とGLRTを統合し、GLRT-CascadeUCB および GLRT-CascadeKL-UCB という2つのアルゴリズムを設計する。
• GLRTを用いて時間的セグメント間でのユーザー好み分布の変化を動的に検出し、変化を検知した際にポリシーのリセットをトリガーする。
• 各変化点検出後に更新される自信境界を用いて、アイテムの魅力度を推定する。UCBおよびKL-UCBの定式化を応用する。
• 探索と変化検出の遅延の両方を考慮したレグレット解析により、タイトな $\mathcal{O}(\sqrt{NLT\log T})$ の上界を導出する。
• 順序付きリストの最初の数個のアイテムしか観測されないというカスケードバンディットの構造を活かし、部分的フィードバック下での効率的な探索戦略を設計する。

実験結果

リサーチクエスチョン

• RQ1 パrameterフリーの変化点検出機構は、部分定常的カスケードバンディットにおける適応性の向上と調整の負担軽減に寄与するか？
• RQ2 従来手法と比較して、GLRTに基づく検出はアイテム集合サイズ $L$ に対するレグレット依存性をどの程度改善するか？
• RQ3 問題に対するミニマックス下界が存在する中で、提案手法はほぼ最適なレグレット性能を達成しているか？
• RQ4 合成データおよび実世界データにおいて、GLRTベースのアルゴリズムは最先端の手法と比較して実用的にどの程度優れているか？
• RQ5 変化点の数や発生タイミングを事前に知らない状況でも、GLRTはユーザー好みの変化を効果的に検出できるか？

主な発見

• 提案された GLRT-CascadeUCB および GLRT-CascadeKL-UCB アルゴリズムは、$\mathcal{O}(\sqrt{NLT\log T})$ のレグレット上界を達成し、$\Omega(\sqrt{NLT})$ のミニマックス下界と対数因子を除いて一致するため、ほぼ最適性が証明された。
• GLRTに基づくアプローチにより、変化点依存のパrameterチューニングの必要性が排除され、従来手法よりも実用的かつロバストである。
• 従来の研究と比較して、グランドセットのサイズ $L$ に対するレグレット上界の依存性が改善されており、特に集合サイズが大きくなると顕著に性能が向上する。
• 合成データおよび実世界データを用いた数値実験により、提案手法が最先端の手法をレグレットと適応性の両面で上回ることが確認された。
• GLRT検出器は最小限のチューニングでユーザー好みの変化を効果的に同定でき、セグメント境界の事前知識がなくても、適切なタイミングでのポリシー更新が可能である。
• 理論的解析により、提案手法が対数因子を除いて最適であることが確認され、非定常環境下での応用に強い理論的基盤が確立された。