[论文解读] An Efficient Algorithm For Generalized Linear Bandit: Online Stochastic Gradient Descent and Thompson Sampling

Qin Ding, Cho‐Jui Hsieh+1 more|arXiv (Cornell University)|Jun 7, 2020

Advanced Bandit Algorithms Research参考文献 31被引用 8

一句话总结

该论文提出SGD-TS，一种用于广义线性Bandit的高效算法，结合在线随机梯度下降（SGD）与Thompson Sampling，实现$×sim O(\sqrt{T})$的遗憾，时间复杂度为$O(Td)$。通过重新校准探索策略并避免矩阵求逆，该方法在每轮恒定的时间和内存复杂度下实现了当前最优性能。

ABSTRACT

We consider the contextual bandit problem, where a player sequentially makes decisions based on past observations to maximize the cumulative reward. Although many algorithms have been proposed for contextual bandit, most of them rely on finding the maximum likelihood estimator at each iteration, which requires $O(t)$ time at the $t$-th iteration and are memory inefficient. A natural way to resolve this problem is to apply online stochastic gradient descent (SGD) so that the per-step time and memory complexity can be reduced to constant with respect to $t$, but a contextual bandit policy based on online SGD updates that balances exploration and exploitation has remained elusive. In this work, we show that online SGD can be applied to the generalized linear bandit problem. The proposed SGD-TS algorithm, which uses a single-step SGD update to exploit past information and uses Thompson Sampling for exploration, achieves $ ilde{O}(\sqrt{T})$ regret with the total time complexity that scales linearly in $T$ and $d$, where $T$ is the total number of rounds and $d$ is the number of features. Experimental results show that SGD-TS consistently outperforms existing algorithms on both synthetic and real datasets.

研究动机与目标

• 解决现有广义线性Bandit（GLB）算法因每轮重复矩阵求逆和最大似然估计（MLE）导致的高计算成本问题，这些算法需$O(T)$内存和$O(T^2)$时间。
• 在上下文Bandit中实现在线随机梯度下降（SGD）并提供理论保证，克服无偏梯度估计和探索-利用平衡的挑战。
• 设计一种方法，在保持低遗憾的同时实现每轮恒定的时间和内存复杂度，使其适用于实时应用。
• 通过实验证明，所提算法在合成数据和真实世界数据集上均优于现有最先进方法。

提出的方法

• 该算法在每轮使用单步SGD更新，基于新观测到的奖励增量式更新模型参数，将每轮的时间和内存复杂度降低至$O(1)$。
• 通过从重新校准的后验分布中采样来集成Thompson Sampling以实现探索，以补偿SGD估计器与MLE相比的偏差。
• 通过利用在线SGD更新，避免显式矩阵求逆，该方法在计算上比每步求解MLE或对$d \times d$矩阵求逆更便宜。
• 探索组件经过重新校准，以确保尽管SGD更新具有非i.i.d.特性且Bandit设置中存在部分反馈，仍能实现充分探索。
• 理论分析假设特征向量满足“多样性”条件，以确保随时间推移获得足够的信息增益。
• 实验中将该方法应用于逻辑回归Bandit，使用聚类中心或从聚类中随机采样的特征向量。

实验结果

研究问题

• RQ1 能否在广义线性Bandit中成功应用在线随机梯度下降并获得理论遗憾保证？
• RQ2 在Bandit设置中使用基于SGD的参数更新时，Thompson Sampling能否被有效重新校准以提供充分探索？
• RQ3 避免每轮进行矩阵求逆和MLE计算是否能显著降低时间和内存复杂度，同时不牺牲遗憾性能？
• RQ4 在真实和合成数据上，与现有GLB方法相比，所提算法在累积遗憾和最优臂被拉动的频率方面表现如何？

主要发现

• 在多样性假设下，SGD-TS实现了$\tilde{O}(\sqrt{T})$的遗憾界，与最先进GLB算法的理论性能一致。
• 该算法在$T$和$d$上呈线性扩展，总时间复杂度为$O(Td)$，是迄今为止最高效的GLB算法。
• 在合成数据和真实世界数据集（包括具有$d=55$个特征的森林覆盖类型数据集）上，SGD-TS在累积遗憾和最优臂被拉动的频率方面始终优于现有算法。
• 在场景1（10个特征）中，SGD-TS优于UCB-GLM、GLM-TSL和GLOC，后三者频繁陷入次优臂。
• 在场景2（55个特征，动态特征）中，SGD-TS仍为表现最佳的算法，而其他方法（包括GLOC）未能频繁识别出最优臂。
• 运行时间测量显示，SGD-TS计算成本最低，因其避免了每轮的矩阵求逆和MLE计算，而UCB-GLM、GLM-TSL、SupCB-GLM和GLOC则未避免。