[论文解读] An Efficient Pessimistic-Optimistic Algorithm for Stochastic Linear Bandits with General Constraints

Xin Liu, Bin Li+2 more|arXiv (Cornell University)|Feb 10, 2021

Advanced Bandit Algorithms Research参考文献 44被引用 17

一句话总结

本文提出了一种针对具有通用非线性约束的随机线性Bandit问题的悲观-乐观算法，通过原-对偶框架实现了 $\tilde{\mathrm{O}}\bigl((K^{0.75}/\bar{\delta} + d)\sqrt{\tau}\bigr)$ 的遗憾，且在常数时间 $\tau^\prime$ 后实现零约束违反，该时间与时域 $T$ 无关。该方法通过解耦原问题与对偶问题的更新，确保计算效率，其中对偶复杂度仅依赖于约束数量，而不依赖于动作或特征空间的大小。

ABSTRACT

This paper considers stochastic linear bandits with general nonlinear constraints. The objective is to maximize the expected cumulative reward over horizon $T$ subject to a set of constraints in each round $τ\leq T$. We propose a pessimistic-optimistic algorithm for this problem, which is efficient in two aspects. First, the algorithm yields $ ilde{\cal O}\left(\left(\frac{K^{0.75}}δ+d ight)\sqrtτ ight)$ (pseudo) regret in round $τ\leq T,$ where $K$ is the number of constraints, $d$ is the dimension of the reward feature space, and $δ$ is a Slater's constant; and zero constraint violation in any round $τ>τ',$ where $τ'$ is independent of horizon $T.$ Second, the algorithm is computationally efficient. Our algorithm is based on the primal-dual approach in optimization and includes two components. The primal component is similar to unconstrained stochastic linear bandits (our algorithm uses the linear upper confidence bound algorithm (LinUCB)). The computational complexity of the dual component depends on the number of constraints, but is independent of the sizes of the contextual space, the action space, and the feature space. Thus, the overall computational complexity of our algorithm is similar to that of the linear UCB for unconstrained stochastic linear bandits.

研究动机与目标

• 解决在需要安全性、公平性或预算遵守等场景下的随机线性Bandit问题。
• 设计一种算法，在有限时间内实现低遗憾且保证零约束违反，且该时间与时域 $T$ 无关。
• 通过使对偶更新复杂度仅依赖于约束数量，而非动作或特征空间的大小，确保计算效率。
• 通过引入在每个回合都必须满足的任意累积约束，推广现有Bandit模型，而非仅在时域结束时满足。

提出的方法

• 该算法采用原-对偶方法，其中原问题部分使用类似线性置信区间上界（LinUCB）的更新策略以实现奖励最大化。
• 对偶部分维护拉格朗日乘子，其基于累积约束违反情况进行更新，且更新复杂度仅依赖于约束数量 $K$。
• 通过结合对奖励和成本估计的置信区间，采用悲观-乐观策略以平衡探索与约束满足。
• 该算法使用时变学习率 $\epsilon_t = \frac{4d\log(1+T)}{\sqrt{t}}$ 和值参数 $V_t = \frac{\delta d\sqrt{t}\log(1+T)}{4}$ 来控制遗憾与约束违反。
• 引入一种新颖的类似李雅普诺夫函数，用于分析约束违反的演化，并推导出期望累积成本的界。
• 通过保持 $\epsilon_t \leq \delta/2$，确保在 $\tau^\prime = \frac{64d^2\log^2(1+T)}{\delta^2}$ 时实现零约束违反。

实验结果

研究问题

• RQ1 我们能否为具有通用非线性约束的随机线性Bandit问题设计一种计算高效的算法，确保在有限时间内实现零约束违反？
• RQ2 在任意累积约束下，可实现的遗憾界是什么？其与约束数量 $K$、维度 $d$ 和Slater常数 $\delta$ 的关系如何？
• RQ3 原-对偶框架如何被调整，以在未知成本函数的Bandit设置中同时保持低遗憾与强约束满足？
• RQ4 是否可以将对偶更新复杂度与动作空间和特征空间的大小解耦，从而实现对大规模上下文问题的可扩展性？

主要发现

• 该算法在第 $\tau$ 轮实现 $\mathcal{R}(\tau) = \tilde{\mathcal{O}}\bigl(\bigl(\frac{K^{0.75}}{\delta} + d\bigr)\sqrt{\tau}\bigr)$ 的遗憾界，该界为次线性且近乎最优。
• 当 $\tau > \tau^\prime = \frac{64d^2\log^2(1+T)}{\delta^2}$ 时，约束违反为零，其中 $\tau^\prime$ 与时域 $T$ 无关。
• 期望累积成本违反 $\mathbb{E}[Q(\tau)]$ 的上界为 $\mathcal{O}\bigl(\frac{d^2\log^2(1+T)}{\delta^2} + \frac{1}{\delta}\bigr)$，确保长期可行性。
• 计算复杂度与无约束LinUCB相当，因为对偶更新仅依赖于 $K$，而不依赖于动作或特征空间的大小。
• 通过李雅普诺夫函数分析，该算法保持可行性，证明约束违反在常数时间后被驱动至零。
• 该方法对非线性成本函数具有鲁棒性，且不要求成本结构为线性，从而拓宽了在医疗健康和预算推荐等现实问题中的适用性。