[论文解读] Deep Contextual Multi-armed Bandits

Mark Collier, Héctor Llorens|arXiv (Cornell University)|Jul 25, 2018

Advanced Bandit Algorithms Research参考文献 22被引用 10

一句话总结

本文提出 Deep Contextual Multi-armed Bandits，一种结合贝叶斯神经网络与 Thompson 采样（通过 Concrete Dropout 实现）的深度学习框架，可在非线性上下文 bandit 设置中实现原则性、自适应的探索。通过端到端学习 dropout 率，该方法在 UCI Mushroom 和 Casino Parity 任务上相比 epsilon-greedy 和固定 dropout 率基线，显著降低了遗憾值。

ABSTRACT

Contextual multi-armed bandit problems arise frequently in important industrial applications. Existing solutions model the context either linearly, which enables uncertainty driven (principled) exploration, or non-linearly, by using epsilon-greedy exploration policies. Here we present a deep learning framework for contextual multi-armed bandits that is both non-linear and enables principled exploration at the same time. We tackle the exploration vs. exploitation trade-off through Thompson sampling by exploiting the connection between inference time dropout and sampling from the posterior over the weights of a Bayesian neural network. In order to adjust the level of exploration automatically as more data is made available to the model, the dropout rate is learned rather than considered a hyperparameter. We demonstrate that our approach substantially reduces regret on two tasks (the UCI Mushroom task and the Casino Parity task) when compared to 1) non-contextual bandits, 2) epsilon-greedy deep contextual bandits, and 3) fixed dropout rate deep contextual bandits. Our approach is currently being applied to marketing optimization problems at HubSpot.

研究动机与目标

• 为解决现有方法无法同时实现非线性上下文建模与原则性探索的挑战，提出在上下文 bandit 中实现非线性建模与原则性探索的统一方法。
• 通过贝叶斯神经网络实现不确定性感知的探索，以克服线性模型和 epsilon-greedy 探索在深度上下文 bandit 中的局限性。
• 通过在训练过程中端到端学习 dropout 率，消除对 dropout 率手动调参的需求。
• 通过实证验证，基于学习到的 dropout 率实现的自适应探索是否能有效降低真实世界营销与合成任务中的遗憾值。

提出的方法

• 利用推理阶段 dropout 与贝叶斯神经网络后验抽样之间的联系，实现 Thompson 采样以支持探索。
• 应用 Concrete Dropout——一种伯努利 dropout 的连续松弛形式——作为可微、可学习的 dropout 率，以建模不确定性并支持基于梯度的优化。
• 使用标准反向传播训练深度神经网络，结合 Concrete Dropout，使模型可通过梯度下降学习最优探索水平。
• 在推理阶段使用 Thompson 采样：通过 dropout 从近似后验中抽样网络权重，然后选择在抽样权重下期望奖励最高的动作。
• 采用变分推断目标以近似网络权重的后验分布，实现在无需完整贝叶斯推断的前提下进行不确定性量化。
• 将 dropout 率视为可训练参数，使模型能自动根据观测到的更多数据调整探索强度。

实验结果

研究问题

• RQ1 深度神经网络能否在上下文 bandit 中同时建模复杂、非线性的上下文-动作关系，并实现原则性探索？
• RQ2 与固定或手动调优的 dropout 率相比，端到端学习 dropout 率是否能更有效地降低遗憾值？
• RQ3 在非线性上下文 bandit 任务中，使用 Concrete Dropout 的 Thompson 采样与 epsilon-greedy 和固定 dropout 基线相比，累积遗憾表现如何？
• RQ4 通过学习到的 dropout 率实现的自适应探索，是否能显著减少真实世界部署场景中对人工超参数调优的依赖？

主要发现

• 在 UCI Mushroom 任务中，所提方法的最终累积遗憾（FCR）为 252，显著低于伯努利 dropout（FCR = 658）和 epsilon-greedy（FCR = 1,718）。
• 在 Casino Parity 任务中，该方法的 FCR 为 1,258，优于伯努利 dropout（FCR = 1,536）和 epsilon-greedy（FCR = 2,718）。
• 采用学习到的 dropout 率的模型，相比固定率 dropout，最终遗憾值减少超过一半，表明收敛更快且探索更早停止。
• 该方法显著优于非上下文 bandit 模型（Mushroom 任务中 FCR = 24,048，Casino Parity 任务中 FCR = 25,102），证明了上下文建模的价值。
• 模型随时间推移减少了探索行为，表现为因指数级重训练导致的遗憾曲线不连续性以及探索率逐渐下降。
• 该方法目前已在 HubSpot 部署，用于真实世界营销优化任务，表明其具备实际可行性与可扩展性。