[论文解读] Learning and Optimization with Seasonal Patterns

Ningyuan Chen, Chun Wang+1 more|arXiv (Cornell University)|May 16, 2020

Advanced Bandit Algorithms Research参考文献 44被引用 9

一句话总结

该论文提出了一种针对奖励随时间变化且遵循未知周期性模式的非平稳多臂老虎机问题的两阶段学习策略。通过结合傅里叶分析以估计各臂的周期，并采用基于置信区间的方法进行探索与利用，该方法在一般周期性假设下（各臂周期异步且未知）实现了近似最优的遗憾上界 $\tilde{O}(\sqrt{T\sum_{k=1}^{K}T_k})$，仅在 $\sqrt{K}$ 因子范围内接近最优。

ABSTRACT

A standard assumption adopted in the multi-armed bandit (MAB) framework is that the mean rewards are constant over time. This assumption can be restrictive in the business world as decision-makers often face an evolving environment where the mean rewards are time-varying. In this paper, we consider a non-stationary MAB model with $K$ arms whose mean rewards vary over time in a periodic manner. The unknown periods can be different across arms and scale with the length of the horizon $T$ polynomially. We propose a two-stage policy that combines the Fourier analysis with a confidence-bound-based learning procedure to learn the periods and minimize the regret. In stage one, the policy correctly estimates the periods of all arms with high probability. In stage two, the policy explores the periodic mean rewards of arms using the periods estimated in stage one and exploits the optimal arm in the long run. We show that our learning policy incurs a regret upper bound $ ilde{O}(\sqrt{T\sum_{k=1}^K T_k})$ where $T_k$ is the period of arm $k$. Moreover, we establish a general lower bound $Ω(\sqrt{T\max_{k}\{ T_k\}})$ for any policy. Therefore, our policy is near-optimal up to a factor of $\sqrt{K}$.

研究动机与目标

• 解决奖励均值随时间周期性变化的非平稳多臂老虎机环境中的学习挑战。
• 开发一种无需先验知识即可估计 $K$ 个臂中每个臂的未知异步周期 $T_k$ 的学习策略。
• 在奖励呈现周期性模式且总变差随 $T$ 线性增长的时间变化环境中，最小化累积遗憾。
• 在最少结构假设下，为具有普遍周期性奖励动态的场景建立遗憾性能的理论保证。

提出的方法

• 该策略分两个阶段运行：首先，利用傅里叶分析以高概率估计各臂奖励周期的 $T_k$。
• 在第二阶段，应用基于置信区间的学习除去，利用估计出的周期来探索并选择最优臂。
• 该算法确保在探索阶段每个臂均被完整周期地拉动，从而实现对周期内均值奖励的准确估计。
• 通过利用几何级数界和概率浓度不等式，控制次优臂的拉动次数。
• 通过期望拉动次数与次优间隙的分解来分析遗憾，并利用詹森不等式及对间隙项的极小化-极大化优化推导出上界。
• 将时域扩展至最接近的最小周期 $T_1$ 的倍数，以处理不完整周期，确保遗憾分析的清晰性。

实验结果

研究问题

• RQ1 在非平稳多臂老虎机设置中，学习策略能否有效估计周期性奖励模式的未知异步周期？
• RQ2 在这样的周期性非平稳 MAB 问题中，遗憾性能的根本极限是什么？
• RQ3 如何将谱分析（傅里叶方法）与置信区间技术结合，以实现近似最优的遗憾？
• RQ4 当奖励总变差随 $T$ 线性增长时，是否可能实现次线性遗憾？
• RQ5 该策略的性能如何随臂的数量 $K$ 和各臂周期 $T_k$ 变化？

主要发现

• 所提策略实现了 $\tilde{O}(\sqrt{T\sum_{k=1}^{K}T_k})$ 的遗憾上界，仅在 $\sqrt{K}$ 因子范围内接近最优。
• 建立了通用的下界 $\Omega(\sqrt{T\max_k\{T_k\}})$，表明在给定假设下，任何策略都无法实现优于该量级的遗憾。
• 遗憾界随各臂周期之和的平方根增长，表明周期越长，学习难度越大。
• 遗憾分解中的第一和第二项为 $\tilde{O}(\sqrt{TK})$，当 $T_1 \leq \sqrt{T/K}$ 时，第三项也为 $\tilde{O}(\sqrt{TK})$，该条件较为宽松。
• 任意次优臂 $k$ 的期望拉动次数满足 $\mathsf{E}[C_k(T)] \leq 3 + 4\log(KT) + \frac{256\sigma^2}{3\bar{\Delta}_k^2}\log(KT^3) + T_1(1 \lor \log_2(4\sigma/\bar{\Delta}_k))$。
• 通过将时域扩展至最接近的 $T_1$ 倍数，遗憾分析已考虑不完整周期的影响，额外增加的拉动次数最多为 $T_1$ 次，该部分可被纳入最终的遗憾上界中。