[論文レビュー] A Near-Optimal Change-Detection Based Algorithm for Piecewise-Stationary Combinatorial Semi-Bandits

Huozhi Zhou, Lingda Wang+2 more|arXiv (Cornell University)|Aug 27, 2019

Advanced Bandit Algorithms Research参考文献 39被引用数 4

ひとこと要約

本稿では、CUCBアルゴリズムと一般化尤度比（GLR）変化点検出器を組み合わせることで、分布の変化を適応的に検出できる、区分的定常な組合せ的セミバンドイット問題における近似的最適なアルゴリズム、GLR-CUCBを提案する。この手法は、$\mathcal{O}(√{NKT\log T})$ のレギュラリティ上界を達成し、導出された $\Omega(√{NKT})$ のミニマックス下界にほぼ一致する。また、合成データおよび実世界のデータセットにおいて、最先端のベースラインを上回る性能を示した。

ABSTRACT

We investigate the piecewise-stationary combinatorial semi-bandit problem. Compared to the original combinatorial semi-bandit problem, our setting assumes the reward distributions of base arms may change in a piecewise-stationary manner at unknown time steps. We propose an algorithm, exttt{GLR-CUCB}, which incorporates an efficient combinatorial semi-bandit algorithm, exttt{CUCB}, with an almost parameter-free change-point detector, the \emph{Generalized Likelihood Ratio Test} (GLRT). Our analysis shows that the regret of exttt{GLR-CUCB} is upper bounded by $\mathcal{O}(\sqrt{NKT\log{T}})$, where $N$ is the number of piecewise-stationary segments, $K$ is the number of base arms, and $T$ is the number of time steps. As a complement, we also derive a nearly matching regret lower bound on the order of $Ω(\sqrt{NKT}$), for both piecewise-stationary multi-armed bandits and combinatorial semi-bandits, using information-theoretic techniques and judiciously constructed piecewise-stationary bandit instances. Our lower bound is tighter than the best available regret lower bound, which is $Ω(\sqrt{T})$. Numerical experiments on both synthetic and real-world datasets demonstrate the superiority of exttt{GLR-CUCB} compared to other state-of-the-art algorithms.

研究の動機と目的

• 非定常環境における報酬分布が未知の時点で急激に変化する問題に対する、組合せ的マルチアームバンディット文脈における研究ギャップを埋めること。
• 変化点や分布パラメータの事前知識がなくても、変化を適応的に検出できる効率的で柔軟なアルゴリズムの開発。
• 区分的定常な組合せ的セミバンドイット問題におけるタイトなレギュラリティ下界の確立により、問題の根本的な難易度を示すこと。
• 提案手法が、合成的および実世界の設定において、既存の最先端手法を実験的に上回ることの妥当性を検証すること。

提案手法

• 本手法は、CUCB（組合せ的上界信頼区間）フレームワークに、一般化尤度比（GLR）テストを用いた変化点検出器を統合し、基本アームの報酬分布の変化を監視する。
• GLR検出器は、変化の大きさや分布パラメータの事前知識がなくても、基本アームの平均報酬の変化を同定可能である。
• 変化が検出されると、アルゴリズムはCUCB手順をグローバルリセットし、新たな分布下での最適スーパーアームを再推定する。
• 本手法はほとんどパラメータフリーであり、有意水準 $\delta$ や信頼水準 $p$ といった少数のハイパーパrameterに依存する。
• 理論的解析により、GLR-CUCBのレギュラリティが $\mathcal{O}(√{NKT\log T})$ で抑えられると示された。ここで $N$ はセグメント数、$K$ は基本アーム数、$T$ は時間枠を表す。
• 情報理論的下界として、区分的定常MABおよびCMABに対して $\Omega(√{NKT})$ が導出され、提案手法の近的最適性を示した。

実験結果

リサーチクエスチョン

• RQ1 効率的でパラメータフリーな変化検出メカニズムを、非定常な報酬分布を扱う組合せ的セミバンドイットアルゴリズムに効果的に統合できるか？
• RQ2 区分的定常な組合せ的セミバンドイット問題における根本的限界（ミニマックスレギュラリティ）は何か？ そして、アルゴリズムはその限界にどの程度近づけるか？
• RQ3 提案されたGLR-CUCBアルゴリズムは、実際の分布変化と一致しない場合でも、近的最適なレギュラリティを達成できるか？
• RQ4 未知で不規則な変化を伴う非定常環境において、GLR-CUCBの性能はオラクルおよび最先端のアルゴリズムと比べてどの程度優れているか？

主な発見

• GLR-CUCBは、$\mathcal{O}(√{NKT\log T})$ のレギュラリティ上界を達成し、ミニマックス下界 $\Omega(√{NKT})$ にほぼ一致するため、ほぼ順序最適である。
• 従来の $\Omega(\sqrt{T})$ の下界よりもタイトな下界が導出され、問題の複雑さに $N$ と $K$ が果たす役割が明確に示された。
• 合成データ（$T=5000$, $K=6$, $m=2$, $N=5$）において、GLR-CUCBはオラクル-CUCBとほぼ同等の性能を示し、他の手法よりも顕著に優れていた。また、仮定4.1（セグメント長に関するもの）が満たされない場合でも同様の結果を示した。
• Yahoo!データセット（$T=22500$, $K=6$, $m=2$, $N=9$）において、GLR-CUCBはすべてのベースラインを上回り、オラクル-CUCBとの差はわずかであった。これは、実世界の非定常環境においても高いロバストネスを示している。
• 驚くべきことに、LR-GLR-CUCBの変種は一部のケースでオラクル-CUCBを上回った。これは、変化が小さく最適スーパーアームに影響がない場合、グローバルリセットが最適でない可能性を示唆している。
• 実験により、理論的仮定のわずかな違反に対しても、GLRによる変化点検出が有効であることが確認され、実用的なロバストネスが裏付けられた。