[论文解读] Adaptive Exploration in Linear Contextual Bandit

Botao Hao, Tor Lattimore+1 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Bandit Algorithms Research参考文献 21被引用 6

一句话总结

该论文提出了一种渐近最优、计算高效的线性上下文Bandit算法，能够自适应于有利的数据分布，在上下文分布丰富时实现次对数 regret。通过基于优化的方法估计并跟踪最优动作分配，该方法在有限时间 regret 上优于现有算法，同时保持理论最优性。

ABSTRACT

Contextual bandits serve as a fundamental model for many sequential decision making tasks. The most popular theoretically justified approaches are based on the optimism principle. While these algorithms can be practical, they are known to be suboptimal asymptotically. On the other hand, existing asymptotically optimal algorithms for this problem do not exploit the linear structure in an optimal way and suffer from lower-order terms that dominate the regret in all practically interesting regimes. We start to bridge the gap by designing an algorithm that is asymptotically optimal and has good finite-time empirical performance. At the same time, we make connections to the recent literature on when exploration-free methods are effective. Indeed, if the distribution of contexts is well behaved, then our algorithm acts mostly greedily and enjoys sub-logarithmic regret. Furthermore, our approach is adaptive in the sense that it automatically detects the nice case. Numerical results demonstrate significant regret reductions by our method relative to several baselines.

研究动机与目标

• 弥合线性上下文Bandit中渐近最优算法与实际有限时间性能之间的差距。
• 设计一种能够自动检测并利用贪婪行为已足够有利的数据分布的算法。
• 消除现有渐近最优方法在实际场景中占主导地位的低阶 regret 项。
• 提供一种兼具理论最优性与在多样化场景下强大经验性能的方法。

提出的方法

• 该算法使用凸优化框架估计并跟踪上下文-动作对之间的最优拉动分配。
• 其采用基于置信度的探索策略，根据不确定性和上下文分布的丰富程度动态调整。
• 该方法使用一种新颖的最优设计跟踪机制，受结构化Bandit中纯探索技术的启发。
• 通过正则化方案确保分配估计的数值稳定性和收敛性。
• 该算法可自动适应：当上下文分布表现良好时，其行为近乎贪婪，且 regret 为次对数级。
• 通过聚焦于上下文特定最优性，避免了先前渐近最优算法中常见的与动作数量 |A| 线性相关的 regret 项。

实验结果

研究问题

• RQ1 能否设计一种算法，使其在线性上下文Bandit中既具备渐近最优性，又在有限时间范围内具有实际有效性？
• RQ2 在何种条件下，上下文Bandit中的自然探索可导致次对数 regret？
• RQ3 为何现有渐近最优算法尽管理论保证强大，但在实践中仍表现不佳？
• RQ4 如何在不牺牲最优性的情况下消除先前方法中的低阶 regret 项？
• RQ5 能否设计一种算法，自动检测并利用有利的数据分布，而无需先验知识？

主要发现

• 所提算法实现了渐近最优性，其 regret 与理论下界一致。
• 在上下文分布丰富的设置中，该算法实现了次对数 regret，行为近乎贪婪。
• 数值实验表明，与最先进基线（包括 OSSB 和 ε-greedy）相比，该算法显著降低了 regret。
• 尽管 LinTS 展现出强大的经验性能，该算法在 regret 方面仍优于其启发式变体。
• 该方法避免了先前算法在实际场景中占主导地位的与 |A| 线性相关的低阶 regret 项。
• 理论分析证实，基于乐观主义的算法在有利上下文分布下同样可实现次对数 regret，仅在低阶项上存在差异。