[论文解读] Differentiable Linear Bandit Algorithm

Kaige Yang, Laura Toni|arXiv (Cornell University)|Jun 4, 2020

Advanced Bandit Algorithms Research参考文献 20被引用 5

一句话总结

本文提出 SoftUCB，一种可微分的线性上下文Bandit算法，通过梯度上升学习置信区间，实现数据自适应的探索-利用权衡。通过用可微分的Softmax选择替代硬性argmax，并引入梯度估计器，该方法在 regret 上优于 UCB 和 LinTS，且学习到的置信区间（$ \hat{\beta}$）显著小于理论边界。

ABSTRACT

Upper Confidence Bound (UCB) is arguably the most commonly used method for linear multi-arm bandit problems. While conceptually and computationally simple, this method highly relies on the confidence bounds, failing to strike the optimal exploration-exploitation if these bounds are not properly set. In the literature, confidence bounds are typically derived from concentration inequalities based on assumptions on the reward distribution, e.g., sub-Gaussianity. The validity of these assumptions however is unknown in practice. In this work, we aim at learning the confidence bound in a data-driven fashion, making it adaptive to the actual problem structure. Specifically, noting that existing UCB-typed algorithms are not differentiable with respect to confidence bound, we first propose a novel differentiable linear bandit algorithm. Then, we introduce a gradient estimator, which allows the confidence bound to be learned via gradient ascent. Theoretically, we show that the proposed algorithm achieves a $ ilde{\mathcal{O}}(\hatβ\sqrt{dT})$ upper bound of $T$-round regret, where $d$ is the dimension of arm features and $\hatβ$ is the learned size of confidence bound. Empirical results show that $\hatβ$ is significantly smaller than its theoretical upper bound and proposed algorithms outperforms baseline ones on both simulated and real-world datasets.

研究动机与目标

• 解决依赖强分布假设的UCB型线性Bandit算法中固定且保守的置信区间所带来的局限性。
• 通过使期望累计奖励关于置信区间可微分，实现基于数据的自适应置信区间学习。
• 开发一种梯度估计器，使置信区间能在离线和在线设置下通过迭代上升进行优化。
• 通过学习更紧密、与问题结构相关的置信区间，降低线性Bandit问题中的遗憾。
• 证明学习到的置信区间（$\\hat{\\beta}$）在实践中显著小于理论最坏情况边界，从而提升实际性能。

提出的方法

• 提出一种新型可微分UCB索引，基于估计奖励和不确定性，区分次优与非次优臂。
• 引入基于Softmax的臂选择策略，替代非可微分的argmax，实现关于置信区间大小的梯度计算。
• 推导出关于置信区间大小 $\beta$ 的期望累计奖励的梯度估计器，支持梯度上升优化。
• 设计两种训练范式：SoftUCB离线（在历史数据上通过全批量梯度上升优化 $\hat{\beta}$）和 SoftUCB在线（每轮自适应更新 $\hat{\beta}$）。
• 引入Lagrangian约束，确保估计的置信区间 $\hat{\beta}$ 满足理论边界 $|\hat{\mu}_{i,t} - \mu_i| \leq \beta \|\mathbf{x}_i\|_{\mathbf{V}_t^{-1}}$。
• 采用软淘汰机制，降低次优臂的选择概率，从而加速收敛。

实验结果

研究问题

• RQ1 UCB型线性Bandit算法中的置信区间能否通过基于梯度的优化实现端到端学习？
• RQ2 UCB索引的可微分形式是否能有效学习自适应置信区间，从而降低遗憾？
• RQ3 在实践中，学习到的置信区间 $\hat{\beta}$ 与理论最坏情况边界的对比如何？
• RQ4 所提方法在合成数据和真实世界场景中是否能超越标准基线方法如LinUCB、LinTS和$\\epsilon$-greedy？
• RQ5 学习到的 $\hat{\beta}$ 对超参数（如Lagrange乘子 $\eta$）的敏感性如何？其对鲁棒性有何影响？

主要发现

• 在所有实验设置中，学习到的置信区间 $\hat{\beta}$ 显著小于理论上的上界 $\tilde{\beta}$，表明其保守性显著降低。
• 在离线设置中，SoftUCB 的遗憾上界为 $\tilde{\mathcal{O}}(\hat{\beta}\sqrt{dT})$，其中 $\hat{\beta}$ 为数据自适应的置信区间大小。
• 实验结果表明，SoftUCB 在合成数据集和真实世界数据集上的累计遗憾均优于 LinUCB、LinTS 和 $\\epsilon$-greedy。
• $\hat{\beta}$ 的收敛性对Lagrange乘子 $\eta$ 敏感；取值过大或过小均会导致收敛失败或错误淘汰最优臂。
• 在在线设置中，SoftUCB online 初始阶段因均匀选择而产生较高遗憾，但随后迅速收敛。
• 软淘汰机制通过降低次优臂的选择概率，加速收敛，从而降低遗憾。