[论文解读] Deterministic Sequencing of Exploration and Exploitation for Multi-Armed Bandit Problems

Sattar Vakili, Keqin Liu+1 more|arXiv (Cornell University)|Jun 30, 2011

Advanced Bandit Algorithms Research参考文献 23被引用 9

一句话总结

本文提出了一种多臂赌博机（MAB）问题的确定性探索与利用序列化框架（DSEE），将时间划分为探索（轮询式选择各臂）与利用（选择样本均值最高的臂）两个阶段。该框架在轻尾奖励下实现最优对数 regret，在具有有限矩的重尾奖励下实现多项式 regret，且可扩展至去中心化、非平稳及组合式 MAB 场景，其 regret 增长具有可证明的次最优性。

ABSTRACT

In the Multi-Armed Bandit (MAB) problem, there is a given set of arms with unknown reward models. At each time, a player selects one arm to play, aiming to maximize the total expected reward over a horizon of length T. An approach based on a Deterministic Sequencing of Exploration and Exploitation (DSEE) is developed for constructing sequential arm selection policies. It is shown that for all light-tailed reward distributions, DSEE achieves the optimal logarithmic order of the regret, where regret is defined as the total expected reward loss against the ideal case with known reward models. For heavy-tailed reward distributions, DSEE achieves O(T^1/p) regret when the moments of the reward distributions exist up to the pth order for 12. With the knowledge of an upperbound on a finite moment of the heavy-tailed reward distributions, DSEE offers the optimal logarithmic regret order. The proposed DSEE approach complements existing work on MAB by providing corresponding results for general reward distributions. Furthermore, with a clearly defined tunable parameter-the cardinality of the exploration sequence, the DSEE approach is easily extendable to variations of MAB, including MAB with various objectives, decentralized MAB with multiple players and incomplete reward observations under collisions, MAB with unknown Markov dynamics, and combinatorial MAB with dependent arms that often arise in network optimization problems such as the shortest path, the minimum spanning, and the dominating set problems under unknown random weights.

研究动机与目标

• 解决奖励分布未知的多臂赌博机问题中的探索-利用权衡。
• 设计一种通用的 MAB 策略，在包括重尾和马氏调制模型在内的多种奖励分布下保持最优 regret 阶。
• 将该框架扩展至具有碰撞约束的去中心化 MAB、具有记忆的非平稳赌博机，以及具有依赖臂的组合式 MAB。
• 提供一种可调的、确定性的替代方案，用于替代 UCB 等随机索引策略，具备清晰的理论保证。

提出的方法

• DSEE 将时间划分为两个交错序列：探索阶段对所有臂按轮询顺序进行选择，利用阶段则选择样本均值最高的臂。
• 探索序列的基数为可调参数，用于控制探索与利用之间的平衡。
• 对于轻尾奖励，DSEE 通过确保每条臂被探索约 log T 次，实现对数 regret。
• 对于具有有限 p 阶矩（1 < p ≤ 2）的重尾奖励，DSEE 实现 O(T^{1/p}) regret；当 p > 2 时，实现 O(T^{1/(1+p/2)}) regret。
• 当已知奖励分布矩的上界时，DSEE 恢复最优对数 regret 阶。
• 通过建模碰撞与玩家协调，将框架扩展至去中心化 MAB；通过探索底层网络结构的基函数，扩展至组合式 MAB。

实验结果

研究问题

• RQ1 一种确定性的、时间分离的探索与利用方法，是否可在一般奖励分布下实现最优 regret 阶？
• RQ2 DSEE 在具有有限矩的重尾奖励分布下表现如何？
• RQ3 DSEE 是否可扩展至具有碰撞约束和不完全奖励观测的去中心化 MAB？
• RQ4 DSEE 是否可适用于具有依赖臂的组合式 MAB（如未知权重下的最短路径或最小生成树问题）？
• RQ5 在具有马氏动力学和非平稳臂演化的情况下，DSEE 是否仍能保持最优 regret 阶？

主要发现

• 对于轻尾奖励分布，DSEE 实现最优对数 regret 阶，与 Lai 和 Robbins 建立的理论下界一致。
• 对于具有有限 p 阶矩（1 < p ≤ 2）的重尾奖励，DSEE 实现 O(T^{1/p}) regret；当 p > 2 时，实现 O(T^{1/(1+p/2)}) regret。
• 当已知奖励分布矩的上界时，DSEE 即使在重尾分布下也能实现最优对数 regret 阶。
• DSEE 框架可扩展至去中心化 MAB，在碰撞约束下仍保持次线性 regret，其 regret 受前 M 条最优臂学习效率的制约。
• 在具有依赖臂的组合式 MAB 中，DSEE 通过仅探索网络结构的基函数，实现问题规模的多项式 regret 增长，而非指数增长。
• 对于具有未知马氏动力学的非平稳 MAB，DSEE 实现弱 regret 的对数阶，扩展了其在具有记忆和连续演化系统中的适用性。