[论文解读] Minimal Exploration in Structured Stochastic Bandits

Richard Combes, Stefan Magureanu+1 more|arXiv (Cornell University)|Nov 1, 2017

Advanced Bandit Algorithms Research参考文献 27被引用 80

一句话总结

本文为广义结构化随机臂带来一个实例特定的后悔下界，并引入 OSSB，一种在渐近意义上最优的算法，通过匹配次优臂的最小探索率来达到该下界；在线性带宽问题上的实验表明 OSSB 优于 Thompson 采样及相关方法。

ABSTRACT

This paper introduces and addresses a wide class of stochastic bandit problems where the function mapping the arm to the corresponding reward exhibits some known structural properties. Most existing structures (e.g. linear, Lipschitz, unimodal, combinatorial, dueling, ...) are covered by our framework. We derive an asymptotic instance-specific regret lower bound for these problems, and develop OSSB, an algorithm whose regret matches this fundamental limit. OSSB is not based on the classical principle of "optimism in the face of uncertainty" or on Thompson sampling, and rather aims at matching the minimal exploration rates of sub-optimal arms as characterized in the derivation of the regret lower bound. We illustrate the efficiency of OSSB using numerical experiments in the case of the linear bandit problem and show that OSSB outperforms existing algorithms, including Thompson sampling.

研究动机与目标

• 在臂到奖励映射具有已知结构的随机臂带中激发学习。
• 推导结构化带中的实例特定渐近后悔下界。
• 提出 OSSB，一种匹配基本学习极限的算法。
• 提供 OSSB 效率的有限时间后悔分析及数值证据。

提出的方法

• 对带有未知参数 及结构化奖励映射 \u001d\u001f(x,\u001e) 的一般结构化多臂带来建模。
• 推导关于次优探索率的半无限线性规划下界（定理 1）。
• 定义 OSSB（Optimal Sampling for Structured Bandits，结构化带的最优采样）及其开发、估计和探索阶段。
• 求解下界优化问题（2）-（3），以指导探索率。
• 在伯努利或高斯奖励下证明 OSSB 的有限时间与渐近后悔界。
• 在线性带宽中的数值实验显示相比 TS 与 GLM-UCB 的性能提升。

实验结果

研究问题

• RQ1 在给定问题结构的前提下，每个次优臂所需的最小探索率是多少？
• RQ2 我们能否设计一种在一般结构化带中达到实例特定下界的算法？
• RQ3 明确针对最小探索率的算法与基于乐观性或 Thompson 采样的方法相比如何？
• RQ4 此类算法的有限时间后悔保证是什么，它们如何转化为线性带宽中的实际性能？

主要发现

• 通过半无限线性规划推导出紧致的实例特定后悔下界 C(\u0005)，在次优臂之间约束探索。
• OSSB 通过以速率 c(x,\u0005) log T 对次优臂进行采样，在渐近意义上达到下界。
• OSSB 在开发、估计和探索之间交替，以在学习 \u0005 的同时匹配最优探索率。
• 在线性带宽的仿真中，OSSB 优于 Thompson 采样、GLM-UCB 以及最近的渐近最优算法。
• 该算法并非基于乐观性或 Thompson 采样，其分析依赖于集中界与最优解的连续性。
• 建立了有限时间后悔界，与渐近下界一致，当控制探索的参数消失时。