[论文解读] Leveraging Good Representations in Linear Contextual Bandits

Matteo Papini, Andrea Tirinzoni+3 more|arXiv (Cornell University)|Apr 8, 2021

Advanced Bandit Algorithms Research参考文献 35被引用 8

一句话总结

本文提出 LEADER，一种新颖的算法，在线性上下文多臂老虎机问题中自适应地从 M 个候选表征中选择最优者，当集合中存在一个'良好'表征时，可实现恒定的问题相关遗憾。此外，本文进一步证明，即使初始候选表征中均无最优者，LEADER 也能通过表征组合隐式构造出一个'良好'表征，从而在未预先知晓最优表征的情况下实现恒定遗憾。

ABSTRACT

The linear contextual bandit literature is mostly focused on the design of efficient learning algorithms for a given representation. However, a contextual bandit problem may admit multiple linear representations, each one with different characteristics that directly impact the regret of the learning algorithm. In particular, recent works showed that there exist "good" representations for which constant problem-dependent regret can be achieved. In this paper, we first provide a systematic analysis of the different definitions of "good" representations proposed in the literature. We then propose a novel selection algorithm able to adapt to the best representation in a set of $M$ candidates. We show that the regret is indeed never worse than the regret obtained by running LinUCB on the best representation (up to a $\ln M$ factor). As a result, our algorithm achieves constant regret whenever a "good" representation is available in the set. Furthermore, we show that the algorithm may still achieve constant regret by implicitly constructing a "good" representation, even when none of the initial representations is "good". Finally, we empirically validate our theoretical findings in a number of standard contextual bandit problems.

研究动机与目标

• 系统分析并比较线性上下文多臂老虎机问题中能实现恒定遗憾的'良好'表征的现有定义。
• 设计一种表征选择算法，自适应地从 M 个候选表征中选择最优者，确保遗憾不超过最优单个表征的 regret 乘以 log M 因子。
• 证明该算法可通过组合隐式构造出一个'良好'表征，即使在单个候选表征均非最优时，也能实现恒定遗憾。
• 在标准上下文多臂老虎机问题上，通过实证验证理论发现。

提出的方法

• 提出 LEADER，一种主算法，可在 M 个基础 LinUCB 算法之间进行选择，每个算法基于不同的候选表征进行训练。
• 使用各表征上置信区间的加权组合，通过指数加权方案动态更新权重，以偏好表现更优的表征。
• 提出一种新颖的分析框架，将遗憾边界表示为集合中最佳表征的函数，并引入 log M 的惩罚项以反映表征选择的代价。
• 引入一种表征组合机制，通过组合多个候选表征的特征，隐式构建出一个新表征，该表征具有'良好'性质。
• 利用矩阵集中律与特征值分析，证明组合表征能保持有利于实现恒定遗憾的几何特性。
• 在遗憾分析中引入 Kantorovich 型不等式，以控制逆协方差矩阵的稳定性，确保在表征变化下性能保持稳健。

实验结果

研究问题

• RQ1 在何种表征条件下，线性上下文多臂老虎机问题中可实现恒定的问题相关遗憾？
• RQ2 在未预先知晓哪个表征最优的情况下，算法如何自适应地从 M 个候选表征中选择最优者？
• RQ3 即使单个候选表征均非最优，算法是否仍可通过组合隐式构造出一个'良好'表征？
• RQ4 在存在多个候选表征时，对表征选择算法的遗憾可提供何种理论保证？
• RQ5 所提算法在标准上下文多臂老虎机问题上的实证性能与基线 LinUCB 相比如何？

主要发现

• LEADER 的遗憾被限制在集合中最佳单个表征的遗憾水平以内，最多乘以 log M 的对数因子，确保性能不会退化。
• 当集合中存在一个'良好'表征时，LEADER 可实现与时间跨度 n 无关的恒定问题相关遗憾。
• LEADER 可通过特征组合隐式构造出一个'良好'表征，即使所有单个候选表征均非最优，也能实现恒定遗憾。
• 该算法的遗憾界相对于最优表征的尺度为 O(log M)，表明其对表征集合大小具有鲁棒性。
• 在标准上下文多臂老虎机问题上的实证结果表明，LEADER 的性能与最优单个表征的 LinUCB 相当或更优。
• 理论分析表明，通过特征值界对逆协方差矩阵进行精细控制，可保持算法的稳定性和性能。