[论文解读] Efficient First-Order Contextual Bandits: Prediction, Allocation, and Triangular Discrimination

Dylan J. Foster, Akshay Krishnamurthy|arXiv (Cornell University)|Jul 5, 2021

Advanced Bandit Algorithms Research参考文献 69被引用 8

一句话总结

本文提出 FastCB，这是首个在上下文Bandit问题中实现高效且最优的一阶遗憾保证的算法，其遗憾规模与最优策略的累积损失 $L^\star$ 的平方根成正比，而非时间跨度 $T$。该方法通过一种新颖的在线回归（对数损失）归约方式实现，并引入三角差异作为关键的信息论工具，使算法在低噪声环境中具备自适应性能，同时在各类函数类中保持简洁与实用性。

ABSTRACT

A recurring theme in statistical learning, online learning, and beyond is that faster convergence rates are possible for problems with low noise, often quantified by the performance of the best hypothesis; such results are known as first-order or small-loss guarantees. While first-order guarantees are relatively well understood in statistical and online learning, adapting to low noise in contextual bandits (and more broadly, decision making) presents major algorithmic challenges. In a COLT 2017 open problem, Agarwal, Krishnamurthy, Langford, Luo, and Schapire asked whether first-order guarantees are even possible for contextual bandits and -- if so -- whether they can be attained by efficient algorithms. We give a resolution to this question by providing an optimal and efficient reduction from contextual bandits to online regression with the logarithmic (or, cross-entropy) loss. Our algorithm is simple and practical, readily accommodates rich function classes, and requires no distributional assumptions beyond realizability. In a large-scale empirical evaluation, we find that our approach typically outperforms comparable non-first-order methods. On the technical side, we show that the logarithmic loss and an information-theoretic quantity called the triangular discrimination play a fundamental role in obtaining first-order guarantees, and we combine this observation with new refinements to the regression oracle reduction framework of Foster and Rakhlin. The use of triangular discrimination yields novel results even for the classical statistical learning model, and we anticipate that it will find broader use.

研究动机与目标

• 解决 COLT 2017 开放问题：在上下文Bandit问题中，是否能够实现高效的首阶遗憾？
• 开发一种实用且高效的算法，通过以 $\sqrt{L^\star}$（最优策略的损失）为基准来缩放遗憾，实现对低噪声数据的自适应性能。
• 基于三角差异与对数损失，建立新的理论基础，用于在上下文Bandit问题中实现首阶保证。
• 证明标准最小二乘回归预言机在更简单的统计学习设定中也无法实现首阶遗憾。
• 提供一种通用且高效的从上下文Bandit问题到对数损失在线回归的归约方法，实现广泛适用性。

提出的方法

• 提出 FastCB，一种高效的上下文Bandit算法，将问题归约为对数损失的在线回归。
• 采用一种新颖的理论框架，将三角差异与首阶遗憾联系起来，替代传统的基于方差的分析方法。
• 利用在对数损失上训练的回归预言机来估计动作值函数，从而实现自适应性能。
• 对 Foster & Rakhlin（2020）的回归预言机归约框架进行精细化分析，现已被扩展至对数损失与三角差异。
• 在预测步骤中采用广义线性模型框架，其链接函数为 $g(\eta) = \mathrm{logit}^{-1}(\eta)$，以建模条件概率。
• 使用带自适应更新的在线梯度下降法（VW 学习规则）训练回归预言机，超参数按数据集独立调优。

实验结果

研究问题

• RQ1 能否通过一种高效算法在上下文Bandit问题中实现与 $\sqrt{L^\star}$ 成正比的一阶遗憾保证？
• RQ2 在上下文Bandit学习中，对数损失是否优于最小二乘损失以实现一阶遗憾？
• RQ3 三角差异能否作为推导上下文Bandit与统计学习中一阶边界的基本信息论工具？
• RQ4 将问题归约为对数损失的在线回归是否能保持最优性，同时实现数据自适应性能？
• RQ5 所提出的方法是否能在无需超出可实现性的分布假设下，在实证基准测试中超越现有最先进算法？

主要发现

• FastCB 实现了与 $O(\sqrt{L^\star})$ 成正比的一阶遗憾，与多臂Bandit问题的最优速率一致，并在最坏情况与无噪声情形之间实现插值。
• 在大规模实证评估中，该算法显著优于非一阶方法，尤其在低噪声环境下表现突出。
• 使用对数损失的回归可实现一阶遗憾，而最小二乘回归即使在更简单的代价敏感分类问题中也失败。
• 三角差异在分析中提供了比 Kullback-Leibler 散度更紧的界，从而实现更精确的遗憾保证。
• 该归约框架既最优又高效，每轮仅需调用一次在线回归预言机。
• 在直接对比中，FastCB.L（对数损失变体）优于 AdaCB 与 RegCB 等最先进算法，后者依赖于平方损失预言机。