[论文解读] Doubly-Robust Lasso Bandit

Gi-Soo Kim, Myunghee Cho Paik|arXiv (Cornell University)|Jul 26, 2019

Advanced Bandit Algorithms Research参考文献 30被引用 12

一句话总结

本文提出双鲁棒Lasso老虎机（Doubly-Robust Lasso Bandit），一种上下文多臂老虎机算法，通过Lasso进行稀疏回归并结合双鲁棒估计，利用未观测到的臂上下文，实现了高概率的遗憾上界 $ O(s_0 \log(dT)\sqrt{T}) $，其随维度 $ d $ 对数增长，且与臂的数量无关。

ABSTRACT

Contextual multi-armed bandit algorithms are widely used in sequential decision tasks such as news article recommendation systems, web page ad placement algorithms, and mobile health. Most of the existing algorithms have regret proportional to a polynomial function of the context dimension, $d$. In many applications however, it is often the case that contexts are high-dimensional with only a sparse subset of size $s_0 (\ll d)$ being correlated with the reward. We consider the stochastic linear contextual bandit problem and propose a novel algorithm, namely the Doubly-Robust Lasso Bandit algorithm, which exploits the sparse structure of the regression parameter as in Lasso, while blending the doubly-robust technique used in missing data literature. The high-probability upper bound of the regret incurred by the proposed algorithm does not depend on the number of arms and scales with $\mathrm{log}(d)$ instead of a polynomial function of $d$. The proposed algorithm shows good performance when contexts of different arms are correlated and requires less tuning parameters than existing methods.

研究动机与目标

• 解决现有上下文老虎机算法遗憾随高维上下文维度 $ d $ 多项式增长的局限性，尤其在仅稀疏子集 $ s_0 \ll d $ 相关时。
• 通过利用老虎机中已知的臂选择机制，克服自适应采样下Lasso估计的不相容性挑战。
• 通过应用缺失数据文献中的双鲁棒估计，利用未选择臂的未观测奖励（缺失值），提升数据效率。
• 构建与臂的数量 $ N $ 无关的遗憾上界，使其适用于动态或大规模臂集合（如推荐系统）。
• 通过结合稀疏性与对模型误设的鲁棒性，实现比现有基于Lasso的老虎机方法更紧的遗憾上界。

提出的方法

• 将随机线性上下文老虎机问题形式化，其中奖励在线性于上下文向量 $ b_i(t) $ 的共享回归参数 $ \beta \in \mathbb{R}^d $ 下进行。
• 应用Lasso估计以在 $ \beta $ 中强制实现稀疏性，假设仅 $ s_0 $ 个相关特征影响奖励。
• 使用双鲁棒估计构建未选择臂的无偏伪奖励，结合结果回归与倾向得分。
• 将已知的臂选择概率（缺失机制）纳入双鲁棒估计器，从而实现对未观测上下文的利用。
• 在相容性条件下，利用递归浓度不等式，构建估计误差 $ \|\hat{\beta}(t) - \beta\|_1 $ 的高概率置信区间。
• 设计一种基于UCB的算法，根据估计的期望奖励选择臂，其置信区间由双鲁棒Lasso估计器导出。

实验结果

研究问题

• RQ1 在具有稀疏奖励结构的高维上下文老虎机中，能否实现遗憾上界随 $ \log(d) $ 而非 $ d $ 的多项式增长？
• RQ2 如何有效利用未选择臂中未观测到的上下文，以在自适应老虎机设置中改进参数估计？
• RQ3 能否将缺失数据文献中的双鲁棒技术适配到缺失机制由学习者控制的上下文老虎机中？
• RQ4 将Lasso稀疏性与双鲁棒估计结合，是否能带来比标准Lasso老虎机方法更优的遗憾表现和更低的调参敏感度？
• RQ5 遗憾上界是否与臂的数量 $ N $ 无关，特别是在动态或大规模臂环境中？

主要发现

• 所提出的双鲁棒Lasso老虎机实现了高概率遗憾上界 $ O(s_0 \log(dT)\sqrt{T}) $，其依赖于 $ \log(d) $ 而非 $ d $ 的多项式。
• 遗憾上界与臂的数量 $ N $ 无关，使该算法可扩展至动态或大规模臂集合。
• 在模拟实验中，当臂的数量增加或上下文相关性较强时，DR Lasso老虎机优于标准Lasso老虎机。
• Lasso老虎机的遗憾随 $ N $ 增加而上升，而DR Lasso老虎机的性能对 $ N $ 的变化具有鲁棒性，展现出其可扩展性。
• 与现有方法相比，该算法对调参的敏感度更低，尤其得益于双鲁棒估计器的稳定性。
• 高概率下，估计误差超过阈值的回合子集为空，验证了置信区间的紧致性。