[論文レビュー] Learning and Optimization with Seasonal Patterns

Ningyuan Chen, Chun Wang+1 more|arXiv (Cornell University)|May 16, 2020

Advanced Bandit Algorithms Research参考文献 44被引用数 9

ひとこと要約

本稿は、未知の周期的パターンに従う時間的に変化する報酬を持つ非定常的マルチアームバンディットに対して、2段階の学習方針を提案する。フーリエ解析を用いてアームごとの周期を推定し、信頼区間に基づく探索と活用戦略を組み合わせることで、一般の周期性仮定の下で、アーム間で非同期的かつ未知の周期を持つ場合に、$ ilde{O}(ackslashackslashsqrt{Tackslashackslashsum_{k=1}^{K}T_k})$ のレグレット上界を達成する。これは $ackslashackslashsqrt{K}$ 要因を除いて近似的に最適である。

ABSTRACT

A standard assumption adopted in the multi-armed bandit (MAB) framework is that the mean rewards are constant over time. This assumption can be restrictive in the business world as decision-makers often face an evolving environment where the mean rewards are time-varying. In this paper, we consider a non-stationary MAB model with $K$ arms whose mean rewards vary over time in a periodic manner. The unknown periods can be different across arms and scale with the length of the horizon $T$ polynomially. We propose a two-stage policy that combines the Fourier analysis with a confidence-bound-based learning procedure to learn the periods and minimize the regret. In stage one, the policy correctly estimates the periods of all arms with high probability. In stage two, the policy explores the periodic mean rewards of arms using the periods estimated in stage one and exploits the optimal arm in the long run. We show that our learning policy incurs a regret upper bound $ ilde{O}(\sqrt{T\sum_{k=1}^K T_k})$ where $T_k$ is the period of arm $k$. Moreover, we establish a general lower bound $Ω(\sqrt{T\max_{k}\{ T_k\}})$ for any policy. Therefore, our policy is near-optimal up to a factor of $\sqrt{K}$.

研究の動機と目的

• 時間的に変化する報酬平均が周期的である非定常的マルチアームバンディット環境における学習の課題に対処すること。
• 事前知識なしに、$K$ 個のアームそれぞれの未知で非同期的な周期 $T_k$ を推定できる学習方策を開発すること。
• 報酬の総変動が $T$ に対して線形に増加する時間変動環境においても、累積レグレットを最小限に抑えること。
• 最小限の構造的仮定の下で、一般の周期的報酬ダイナミクスにおけるレグレット性能の理論的保証を確立すること。

提案手法

• 方策は2段階で構成される：まず、各アームの報酬サイクル周期 $T_k$ を高確率で推定するためにフーリエ解析を用いる。
• 2段階目では、推定された周期を活用して、信頼区間に基づく学習手順を適用し、探索と活用を最適化する。
• アルゴリズムは、探索段階で各アームを完全な周期分だけ引くことを保証し、サイクル全体での平均報酬推定を正確に行えるようにする。
• 幾何級数の境界と確率的集中不等式を活用して、劣悪なアームの引数回数を制御する。
• レグレットは期待引数回数と劣悪ギャップの分解に基づき、ジェンセンの不等式とギャップ項におけるミニマックス最適化を用いて境界を導出する。
• 不完全なサイクルを処理するため、ホライズンを最小周期 $T_1$ の最も近い倍数に延長し、レグレット解析を明確にする。

実験結果

リサーチクエスチョン

• RQ1 非定常的マルチアームバンディット設定において、未知で非同期的な周期的報酬パターンの周期を効果的に推定できる学習方策は存在するか？
• RQ2 このような周期的で非定常なMAB問題における、レグレット性能の根本的限界は何か？
• RQ3 スペクトル解析（フーリエ法）を信頼区間手法と統合することで、近似的に最適なレグレットを達成できるか？
• RQ4 報酬の総変動が $T$ に対して線形に増加する場合でも、サブ線形レグレットを達成することは可能か？
• RQ5 方策の性能は、アーム数 $K$ および個々の周期 $T_k$ に対してどのようにスケーリングするか？

主な発見

• 提案された方策は、$\tilde{O}(\sqrt{T\sum_{k=1}^{K}T_k})$ のレグレット上界を達成する。これは $ackslashackslashsqrt{K}$ 要因を除いて近似的に最適である。
• 一般の下界 $ackslashackslashOmega(\backslashackslashsqrt{T\backslashackslashmax_k\{T_k\}})$ が確立され、与えられた仮定の下では、これより良いレグレットスケーリングは達成不可能であることが示された。
• レグレット境界は個々のアーム周期の和の平方根に比例するため、周期が長いほど学習の難易度が高くなることが示された。
• レグレット分解の第1および第2項は $\tilde{O}(\sqrt{TK})$ であるが、第3項も $T_1 \leq \sqrt{T/K}$ のときには $\tilde{O}(\sqrt{TK})$ に等しくなる。これは緩い条件である。
• 任意の劣悪なアーム $k$ の期待引数回数は、$\mathsf{E}[C_k(T)] \leq 3 + 4\log(KT) + \frac{256\sigma^2}{3\bar{\Delta}_k^2}\log(KT^3) + T_1(1 \lor \log_2(4\sigma/\bar{\Delta}_k))$ で有界である。
• 不完全なサイクルを考慮するため、ホライズンを最小周期 $T_1$ の最も近い倍数に延長し、最大 $T_1$ 回の追加引数を加える。この追加分は最終的なレグレット境界に吸収される。