[論文レビュー] Non-Stationary Bandit Learning via Predictive Sampling

Yueyang Liu, Kuang, Xu+1 more|arXiv (Cornell University)|May 4, 2022

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、時間的に変化する環境における情報の持続性を考慮することで、探索を改善する予測的サンプリング（PS）と呼ばれる新しいバンディットアルゴリズムを提案する。トムソンサンプリングとは異なり、すべての情報を同一に扱うのではなく、PSは将来の報酬系列をサンプリングし、情報の持続性が高い行動を優先することで、非定常環境において顕著に優れたレギュレートバウンドと実験的性能を達成する。

ABSTRACT

Thompson sampling has proven effective across a wide range of stationary bandit environments. However, as we demonstrate in this paper, it can perform poorly when applied to non-stationary environments. We attribute such failures to the fact that, when exploring, the algorithm does not differentiate actions based on how quickly the information acquired loses its usefulness due to non-stationarity. Building upon this insight, we propose predictive sampling, an algorithm that deprioritizes acquiring information that quickly loses usefulness. A theoretical guarantee on the performance of predictive sampling is established through a Bayesian regret bound. We provide versions of predictive sampling for which computations tractably scale to complex bandit environments of practical interest. Through numerical simulations, we demonstrate that predictive sampling outperforms Thompson sampling in all non-stationary environments examined.

研究の動機と目的

• 情報の持続性を考慮しないため、非定常バンディット環境ではトムソンサンプリングの性能が著しく低下する問題に対処すること。
• 情報がどれだけ長く有用であるかに基づいて、探索を原理的かつ適切に調整するアルゴリズムの開発。
• 時間的に変化する報酬分布と情報の減衰を考慮したレギュレート解析のための新しい情報理論的フレームワークの確立。
• 予測的サンプリングが理論的バウンドと数値実験を通じて優れた性能を示すことを実証すること。

提案手法

• トムソンサンプリングの変種として、個々の平均報酬ではなく、将来の報酬系列全体をサンプリングする予測的サンプリング（PS）を提案する。
• ベイジアン推論を用いて妥当な将来の報酬経路をサンプリングし、そのサンプル系列下での期待報酬が最大となる行動を選択する。
• 将来の報酬を予測するために有用な情報の割合を定量化するための「予測情報」の概念を導入する。
• AR(1)バンディットに対しては効率的な計算手順を、AR(1)ロジスティックバンディットに対しては実用的な近似手法をそれぞれ開発する。
• 時間的に変化する報酬分布と情報の減衰を考慮した新しい情報比とレギュレートバウンドフレームワークを確立する。
• 累積予測情報Δの観点から表現されたベイジアンレギュレートバウンドを用いて性能を分析する。

実験結果

リサーチクエスチョン

• RQ1 なぜトムソンサンプリングは定常環境では成功しているが、非定常環境では失敗するのか？
• RQ2 時間的に変化する環境において、情報の持続性に基づいて探索を動的に調整する方法は何か？
• RQ3 具体的には、将来の報酬系列をサンプリングターゲットにすることで、非定常バンディットにおいてより優れた性能が達成可能か？
• RQ4 情報の減衰を伴う非定常バンディットにおけるレギュレート解析に必要な理論的フレームワークは何か？
• RQ5 実験的に、予測的サンプリングは非定常設定においてトムソンサンプリングや他のベースラインアルゴリズムを上回るか？

主な発見

• 予測的サンプリングは、非定常環境のあらゆる設定において、トムソンサンプリングを顕著に上回る性能を示した。特に、情報の持続性に非対称性がある環境でも同様の結果を得た。
• 平均報酬が急激に変化する二行動バンディット（γ₁ = 0.1）において、PSはTSよりも短命な情報の行動をより頻繁に選ばないことが確認された。
• トムソンサンプリングが近似最悪レギュレートに陥る極端な非定常状況でも、PSはほぼ最適な性能を達成した。
• 理論的分析により、累積予測情報Δの観点からベイジアンレギュレートバウンドを確立し、PSの一般化された性能保証を提供した。
• 数値実験では、PSがTSや他のベースラインよりも高い平均報酬を獲得しており、95%信頼区間において一貫した優位性が示された。
• 提案された情報理論的フレームワークは、持続的でない情報と一時的な情報を区別することで、非定常バンディットにおけるレギュレート解析を成功裏に拡張した。