[论文解读] Linearly Parameterized Bandits

Paat Rusmevichientong, John N. Tsitsiklis|arXiv (Cornell University)|Dec 18, 2008

Advanced Bandit Algorithms Research参考文献 37被引用 5

一句话总结

本文研究线性参数化多臂赌博机，其中臂的奖励是 r 维随机向量 Z（r ≥ 2）的线性函数。提出一种分阶段探索-利用策略，在臂构成单位球面时实现 Θ(r√T) 的遗憾和贝叶斯风险；对于一般臂集合，提出一种近乎最优的策略，遗憾为 O(r√T log^{3/2}T)，并建立了高维线性赌博机设置下的基本下界和最优标度。

ABSTRACT

We consider bandit problems involving a large (possibly infinite) collection of arms, in which the expected reward of each arm is a linear function of an $r$-dimensional random vector $\mathbf{Z} \in \mathbb{R}^r$, where $r \geq 2$. The objective is to minimize the cumulative regret and Bayes risk. When the set of arms corresponds to the unit sphere, we prove that the regret and Bayes risk is of order $Θ(r \sqrt{T})$, by establishing a lower bound for an arbitrary policy, and showing that a matching upper bound is obtained through a policy that alternates between exploration and exploitation phases. The phase-based policy is also shown to be effective if the set of arms satisfies a strong convexity condition. For the case of a general set of arms, we describe a near-optimal policy whose regret and Bayes risk admit upper bounds of the form $O(r \sqrt{T} \log^{3/2} T)$.

研究动机与目标

• 解决具有大量或无限多条臂的多臂赌博机问题，其中奖励线性依赖于一个 r 维潜在向量 Z（r ≥ 2），避免遗憾随臂数线性增长。
• 通过利用臂之间的线性结构带来的相关性，克服独立臂奖励模型导致的遗憾随臂数线性增长的局限性。
• 为线性参数化赌博机建立遗憾和贝叶斯风险的紧致下界，表明其增长为 Ω(r√T)，远高于 r=1 时的 O(log T) 边界。
• 设计一种分阶段策略，交替进行探索与利用，证明其在单位球面情况下可实现最优的 Θ(r√T) 遗憾。
• 通过一种近似最优策略将分析扩展至一般臂集合，遗憾为 O(r√T log^{3/2}T)，并识别出在多面体集合中降低对数因子的开放问题。

提出的方法

• 将臂的奖励建模为 X_t^u = u'Z + W_t^u，其中 u ∈ ℝ^r 为臂向量，Z ∈ ℝ^r 为未观测到的随机向量，W_t^u 为均值为零且尾部为次高斯的噪声变量。
• 采用一种分阶段策略，交替进行探索（收集数据以估计 Z）和利用（基于当前估计选择最优臂），且各阶段长度递增。
• 应用浓度不等式和鞅论证，对 Z 的估计误差进行有界，确保在探索阶段以高概率控制遗憾。
• 利用臂集合的强凸性（如单位球面）推导费舍尔信息矩阵的下界，从而实现遗憾的紧密刻画。
• 对于一般集合，采用均匀探索策略并结合自适应采样，确保对臂空间的充分覆盖，实现 O(r√T log^{3/2}T) 的遗憾。
• 通过信息论论证和 Cramér-Rao 不等式推导下界，表明任何策略在单位球面情况下至少需承受 Ω(r√T) 的遗憾。

实验结果

研究问题

• RQ1 在线性参数化赌博机中，当 r ≥ 2 且臂奖励是潜在随机向量的线性函数时，遗憾和贝叶斯风险的根本极限是什么？
• RQ2 当臂集合为单位球面时，分阶段策略能否实现 Θ(r√T) 的最优遗憾标度？其与贪婪或均匀策略相比表现如何？
• RQ3 当臂的数量很大或无限时，一般臂集合（如多面体集合）的遗憾如何变化？能否实现与臂数无关的遗憾？
• RQ4 强凸性在实现更紧致的遗憾边界中起到什么作用？它如何影响最优探索策略的设计？
• RQ5 在多面体臂集合中，遗憾边界 O(r√T log^{3/2}T) 中的对数因子是否可被消除，还是其本身源于此类集合的结构？

主要发现

• 对于单位球面臂集合，累积遗憾和贝叶斯风险为 Θ(r√T)，确立了任何策略下 Ω(r√T) 的紧致下界。
• 一种在探索与利用之间交替的分阶段策略在单位球面情况下实现了最优的 Θ(r√T) 遗憾边界，与下界一致。
• 该分阶段策略对满足强凸性条件的任意臂集合均有效，确保每轮探索步骤的信息增益有下界。
• 对于一般臂集合，提出一种近乎最优的策略，其遗憾和贝叶斯风险被限制在 O(r√T log^{3/2}T) 内，接近最优但包含对数因子。
• 通过 Lai 和 Robbins 算法对多面体集合的遗憾边界为 O(|ℰ(𝒰_r)| log T / Δ_min)，当极端点数量在 r 上呈指数增长时，该结果变得不切实际。
• 当 r ≥ 2 时，根本遗憾下界 Ω(r√T) 与 r=1 时可实现的 O(log T) 边界形成鲜明对比，凸显了高维线性赌博机的更高难度。