[论文解读] Decoupling Exploration and Exploitation in Multi-Armed Bandits

Orly Avner, Shie Mannor+1 more|arXiv (Cornell University)|May 13, 2012

Advanced Bandit Algorithms Research参考文献 14被引用 10

一句话总结

本文提出了一种解耦的多臂赌博机框架，其中学习者在每轮中可以查询（探索）一个臂而利用（使用）另一个臂，打破了标准赌博机仅能观测所选动作奖励的约束。通过使用非均匀且自适应的采样策略，该算法实现了对臂的数量 $k$ 有利的遗憾界，显著优于标准赌博机算法在分段平稳和对抗性设置下的表现，尤其是在奖励具有结构时表现更优。

ABSTRACT

We consider a multi-armed bandit problem where the decision maker can explore and exploit different arms at every round. The exploited arm adds to the decision maker's cumulative reward (without necessarily observing the reward) while the explored arm reveals its value. We devise algorithms for this setup and show that the dependence on the number of arms, k, can be much better than the standard square root of k dependence, depending on the behavior of the arms' reward sequences. For the important case of piecewise stationary stochastic bandits, we show a significant improvement over existing algorithms. Our algorithms are based on a non-uniform sampling policy, which we show is essential to the success of any algorithm in the adversarial setup. Finally, we show some simulation results on an ultra-wide band channel selection inspired setting indicating the applicability of our algorithms.

研究动机与目标

• 为解决标准多臂赌博机的局限性，即仅能观测所选臂的奖励，通过允许学习者查询（探索）与实际利用不同的臂。
• 设计一种算法，利用解耦的探索与利用，实现相比标准 $\sqrt{k}$ 边界更优的关于臂的数量 $k$ 的遗憾依赖性。
• 通过理论和实证验证，非均匀且自适应的采样策略在对抗性设置中对性能提升至关重要。
• 通过超宽带（UWB）信道选择场景的仿真，展示该框架的实际适用性。

提出的方法

• 该算法使用依赖于实际用于利用的臂的概率分布的非均匀、自适应采样分布进行探索。
• 引入一种数据依赖的遗憾保证，其性能永远不会差于标准赌博机算法，且在奖励序列行为有利时可显著更优。
• 理论分析表明，在分段平稳的随机赌博机设置中，遗憾对 $k$ 的依赖性可远优于 $\sqrt{k}$，在特定条件下可达到 $\tilde{O}(\sqrt{kT})$。
• 该方法证明，在对抗性设置中，均匀采样不足以实现性能提升，必须采用自适应策略才能获得优势。
• 该框架可推广至每轮允许多个查询的情形，以及被利用的臂的奖励始终被揭示的情形。
• 通过减少到偏置硬币辨别问题，证明在对抗性设置中，任何算法的遗憾下界为 $\Omega(\sqrt{kT})$，确立了根本性极限。

实验结果

研究问题

• RQ1 在多臂赌博机中解耦探索与利用是否能带来相比标准赌博机算法更优的遗憾界？
• RQ2 在对抗性赌博机设置中，是否必须采用非均匀且自适应的采样策略才能实现性能提升？
• RQ3 在解耦框架下，关于臂的数量 $k$ 的遗憾依赖性如何改善，特别是在分段平稳环境中？
• RQ4 所提出的算法是否能在如超宽带信道选择等真实复杂场景中优于标准赌博机算法？

主要发现

• 所提算法的遗憾界对奖励序列结构具有有利依赖性，相比标准 $\sqrt{k}$ 边界，对 $k$ 的依赖性更优，尤其在分段平稳环境中表现更优。
• 在对抗性设置中，算法的遗憾下界为 $\Omega(\sqrt{kT})$，表明若无结构假设，对 $k$ 的改进依赖性无法在一般情况下实现。
• 理论分析确认，在对抗性环境中，非均匀采样对性能提升至关重要，因为均匀采样无法实现此类改进。
• 在超宽带（UWB）信道选择场景中的仿真结果表明，该算法优于标准赌博机基线，验证了其实际适用性。
• 该框架可推广至每轮允许多个查询的情形，以及被利用的臂的奖励始终被揭示的情形，同时保持更优的遗憾性能。