[论文解读] Contextual Multi-armed Bandit Algorithm for Semiparametric Reward Model

Gi-Soo Kim, Myunghee Cho Paik|arXiv (Cornell University)|Jan 31, 2019

Advanced Bandit Algorithms Research被引用 6

一句话总结

该论文提出了一种新颖的上下文多臂老虎机算法，用于半参数奖励模型，可在不依赖强参数假设的前提下处理随时间变化的基线奖励。通过使用加权上下文中心化和新的鞅不等式，该方法在保持计算高效且实现更简便的同时，实现了与线性模型下Thompson Sampling相同阶次的遗憾上界。

ABSTRACT

Contextual multi-armed bandit (MAB) algorithms have been shown promising for maximizing cumulative rewards in sequential decision tasks such as news article recommendation systems, web page ad placement algorithms, and mobile health. However, most of the proposed contextual MAB algorithms assume linear relationships between the reward and the context of the action. This paper proposes a new contextual MAB algorithm for a relaxed, semiparametric reward model that supports nonstationarity. The proposed method is less restrictive, easier to implement and faster than two alternative algorithms that consider the same model, while achieving a tight regret upper bound. We prove that the high-probability upper bound of the regret incurred by the proposed algorithm has the same order as the Thompson sampling algorithm for linear reward models. The proposed and existing algorithms are evaluated via simulation and also applied to Yahoo! news article recommendation log data.

研究动机与目标

• 解决现有上下文MAB算法假设上下文与奖励之间关系随时间不变的局限性。
• 开发一种通过引入时变截距项的半参数模型来支持非平稳奖励机制的方法。
• 与同一非平稳模型下的现有算法相比，提高计算效率和实现简便性。
• 建立与线性模型下Thompson Sampling同阶的高概率遗憾上界。
• 提供一种一致且无需调参的回归参数估计器，其收敛速度优于以往估计器。

提出的方法

• 使用加权上下文向量中心化方法，以一致地估计半参数模型中的回归参数。
• 应用新的鞅不等式，推导出所提算法的高概率遗憾上界。
• 采用受Thompson Sampling启发的动作选择策略，对任意数量的臂均明确定义了分布。
• 提出一种计算高效的算法，每轮仅需O(N)次操作，避免了动作消除方法的O(N²)开销。
• 依赖Li等人（2011）提出的离线评估方法，从观察日志数据中估计累积奖励。
• 基于Yahoo! R6A数据集的验证数据，采用基于调参选择程序。

实验结果

研究问题

• RQ1 能否为具有非平稳奖励的半参数模型开发一种既计算高效又易于实现的上下文MAB算法？
• RQ2 尽管放宽了参数假设，所提算法在线性模型下是否仍能达到与Thompson Sampling同阶的遗憾上界？
• RQ3 在非平稳奖励条件下，与现有算法相比，所提方法在累积奖励和学习速度方面表现如何？
• RQ4 所提回归参数估计器是否能在无需额外调参的情况下，实现比现有估计器更快的收敛速度？
• RQ5 在真实应用场景（如使用观察日志数据的新闻文章推荐）中，该方法是否优于现有算法？

主要发现

• 尽管使用了更一般的半参数模型，所提算法在线性模型下仍实现了与Thompson Sampling同阶的高概率遗憾上界。
• 在模拟研究中，所提方法在非平稳奖励条件下始终表现出比现有方法更低的累积遗憾，尤其在基线奖励随时间变化时优势更明显。
• 在Yahoo! R6A数据集上，所提算法在10次运行中实现了平均点击率90,689.7，较原始Thompson Sampling算法提升了4.4%。
• 所提方法的学习速度优于ACTS算法，且在与BOSE的比较中表现具有竞争力，尽管BOSE对N > 2的情况缺乏显式动作选择方法。
• 所提回归参数估计器收敛速度优于现有估计器，且无需额外调参。
• 该方法在不同臂数（N=2和N=6）下均表现出稳健性能，在时变截距条件下仍保持优异的遗憾表现。