[论文解读] A Simple Reduction Scheme for Constrained Contextual Bandits with Adversarial Contexts via Regression

Dhruv Sarkar, Abhishek Sinha|arXiv (Cornell University)|Feb 4, 2026

Advanced Bandit Algorithms Research被引用 0

一句话总结

本文提出一个模块化的约简方案，将带有对抗情境的受限上下文老虎机问题转换为无约束上下文老虎机问题，利用在线回归预言器，在持续设置下实现对后悔和约束违规的同时控制。

ABSTRACT

We study constrained contextual bandits (CCB) with adversarially chosen contexts, where each action yields a random reward and incurs a random cost. We adopt the standard realizability assumption: conditioned on the observed context, rewards and costs are drawn independently from fixed distributions whose expectations belong to known function classes. We consider the continuing setting, in which the algorithm operates over the entire horizon even after the budget is exhausted. In this setting, the objective is to simultaneously control regret and cumulative constraint violation. Building on the seminal SquareCB framework of Foster et al. (2018), we propose a simple and modular algorithmic scheme that leverages online regression oracles to reduce the constrained problem to a standard unconstrained contextual bandit problem with adaptively defined surrogate reward functions. In contrast to most prior work on CCB, which focuses on stochastic contexts, our reduction yields improved guarantees for the more general adversarial context setting, together with a compact and transparent analysis.

研究动机与目标

• 激发并解决带对抗性情境的受限上下文老虎机（CCB）的问题。
• 开发一种简单、模块化的算法方案，利用在线回归预言器。
• 将CCB简化为带代理回报的无约束上下文老虎机问题。
• 在持续设置下提供紧凑、透明的分析，其中预算可能被耗尽但学习仍在继续。

提出的方法

• 在SquareCB框架的基础上设计一个约简方案。
• 使用在线回归预言器构建代理回报函数。
• 用这些代理回报将受限问题化简为标准的无约束CB问题。
• 在预算耗尽但学习继续的持续设置下进行操作。
• 为对抗性情境提供模块化且透明的分析。

实验结果

研究问题

• RQ1 是否可以使用回归预言器将带对抗情境的受限上下文老虎机问题化简为无约束CB问题？
• RQ2 在该约简下的持续设置中，后悔和约束违规的保证是什么？
• RQ3 与侧重于随机情境的先前CCB方法相比，该约简有何不同？
• RQ4 通过代理回报对对抗情境的性能保证有何影响？

主要发现

• 一种简单的模块化约简方案在对抗情境下获得改进的保证。
• 该约简利用在线回归预言器来为无约束CB定义代理回报。
• 该方法在持续设置中提供了紧凑、透明的分析。
• 该方案将SquareCB框架扩展到带对抗情境的受限情境。