[论文解读] Multi-Armed Bandits for Correlated Markovian Environments with Smoothed Reward Feedback

Tanner Fiez, Shreyas Sekar+1 more|arXiv (Cornell University)|Mar 11, 2018

Advanced Bandit Algorithms Research参考文献 35被引用 3

一句话总结

本文提出 EpochUCB 和 EpochGreedy 算法，用于在具有平滑奖励反馈的关联马尔可夫环境中解决多臂赌博机问题，其中决策者缺乏状态信息，仅能观测每个周期内批量处理的平均奖励。这些算法通过使用与臂相关、线性递增的周期长度，实现了次线性遗憾，克服了在该设置下 UCB 和 ε-贪心算法所遭受的线性遗憾。

ABSTRACT

We study a multi-armed bandit problem in a dynamic environment where arm rewards evolve in a correlated fashion according to a Markov chain. Different than much of the work on related problems, in our formulation a learning algorithm does not have access to either a priori information or observations of the state of the Markov chain and only observes smoothed reward feedback following time intervals we refer to as epochs. We demonstrate that existing methods such as UCB and $\varepsilon$-greedy can suffer linear regret in such an environment. Employing mixing-time bounds on Markov chains, we develop algorithms called EpochUCB and EpochGreedy that draw inspiration from the aforementioned methods, yet which admit sublinear regret guarantees for the problem formulation. Our proposed algorithms proceed in epochs in which an arm is played repeatedly for a number of iterations that grows linearly as a function of the number of times an arm has been played in the past. We analyze these algorithms under two types of smoothed reward feedback at the end of each epoch: a reward that is the discount-average of the discounted rewards within an epoch, and a reward that is the time-average of the rewards within an epoch.

研究动机与目标

• 解决奖励通过关联马尔可夫链演化但无法访问底层状态或即时反馈的多臂赌博机问题。
• 建模奖励反馈被批量处理且延迟的真实世界系统，如数字平台和电子商务系统。
• 证明标准赌博机算法（如 UCB 和 ε-贪心）在此设置下因未能考虑状态相关性与延迟反馈而遭受线性遗憾。
• 开发新算法，在反馈受限且无法观测状态的前提下实现次线性遗憾。
• 在两种平滑反馈类型下分析性能：周期内的时间平均和折扣平均奖励。

提出的方法

• 算法在周期内运行，每个臂被重复播放，持续时间随该臂过去被选择的次数线性增长。
• 周期长度由该臂被选择的累计次数决定，确保随时间推移对每条臂的探索时间更长。
• 平滑奖励反馈计算为周期内瞬时奖励的时间平均或折扣平均。
• 理论分析利用马尔可夫链的混合时间界来控制观测奖励与平稳分布奖励之间的偏差。
• 通过将遗憾分解为与混合时间相关和探索-利用权衡相关的分量，推导出遗憾界。
• 算法设计旨在使状态分布稳定趋近平稳，从而在延迟且平滑的反馈下实现可靠的奖励估计。

实验结果

研究问题

• RQ1 标准赌博机算法（如 UCB 和 ε-贪心）能否在仅具有平滑批量反馈的关联马尔可夫环境中实现次线性遗憾？
• RQ2 在该环境中，固定周期长度与递增周期长度对遗憾有何影响？
• RQ3 当决策者无法访问底层马尔可夫状态且仅能观测平均奖励时，如何保证次线性遗憾？
• RQ4 在时间平均与折扣平均的平滑奖励反馈模型下，何种条件下可实现关联马尔可夫赌博机的有效学习？
• RQ5 能否利用马尔可夫链的混合时间特性，来约束非平稳、关联奖励设置下的遗憾损失？

主要发现

• 标准 UCB 和 ε-贪心算法在所提出的具有平滑反馈的关联马尔可夫环境中遭受线性遗憾，原因是未能稳定状态分布。
• EpochUCB 和 EpochGreedy 通过使用与臂相关、线性递增的周期长度，使系统趋近平稳，从而实现次线性遗憾。
• 遗憾界与底层马尔可夫链的混合时间成正比，表明混合越慢，遗憾越高。
• 分析表明，固定长度周期会导致线性遗憾，从而证明在此类设置中需要自适应周期增长。
• 无论采用时间平均还是折扣平均，平滑奖励反馈模型在结合足够长的周期时，均可实现对平稳奖励的可靠估计。
• 理论保证已建立于两种反馈形式（折扣平均与时间平均）之上，表明在两种设定下均可实现次线性遗憾。