[논문 리뷰] A Simple Reduction Scheme for Constrained Contextual Bandits with Adversarial Contexts via Regression

Dhruv Sarkar, Abhishek Sinha|arXiv (Cornell University)|2026. 02. 04.

Advanced Bandit Algorithms Research인용 수 0

한 줄 요약

논문은 제약된 맥락 밴딧(CCB)을 적대적 맥락과 함께 온라인 회귀 오라클을 사용하여 무제약 맥락 밴딧 문제로 변환하는 모듈식 축소 스킴을 도입하여 지속 설정에서의 후회(R 및 제약 위반)를 동시에 제어할 수 있게 한다.

ABSTRACT

We study constrained contextual bandits (CCB) with adversarially chosen contexts, where each action yields a random reward and incurs a random cost. We adopt the standard realizability assumption: conditioned on the observed context, rewards and costs are drawn independently from fixed distributions whose expectations belong to known function classes. We consider the continuing setting, in which the algorithm operates over the entire horizon even after the budget is exhausted. In this setting, the objective is to simultaneously control regret and cumulative constraint violation. Building on the seminal SquareCB framework of Foster et al. (2018), we propose a simple and modular algorithmic scheme that leverages online regression oracles to reduce the constrained problem to a standard unconstrained contextual bandit problem with adaptively defined surrogate reward functions. In contrast to most prior work on CCB, which focuses on stochastic contexts, our reduction yields improved guarantees for the more general adversarial context setting, together with a compact and transparent analysis.

연구 동기 및 목표

• 적대적으로 선택된 맥락을 가진 제약된 맥락 밴딧(CCB)을 동기화하고 다루려 한다.
• 온라인 회귀 오라클을 활용한 간단하고 모듈식 알고리즘 체계를 개발한다.
• 대리 보상을 갖는 CCB를 무제약 맥락 밴딧 문제로 축소한다.
• 예산이 소진되는 지속 환경에서 학습이 계속되는 간결하고 투명한 분석을 제공한다.

제안 방법

• SquareCB 프레임워크를 기반으로 축소 스킴을 설계한다.
• 온라인 회귀 오라클을 사용해 대리 보상 함수를 구축한다.
• 이 대리 보상들로 제약 문제를 표준 무제약 CB 문제로 축소한다.
• 예산이 소진되더라도 학습이 계속되는 지속 설정에서 작동한다.
• 적대적 맥.context에 대해 모듈식이고 투명한 분석을 제공한다.

실험 결과

연구 질문

• RQ1 적대적 맥 context를 가진 제약된 맥락 밴딧을 회귀 오라클을 사용해 무제약 CB 문제로 축소할 수 있는가?
• RQ2 이 축소에 의해 지속 설정에서의 후회 및 제약 위반 보장은 어떤가?
• RQ3 이 제안된 축소가 확률적 맥 context에 초점을 맞춘 기존 CCB 접근법과 어떻게 비교되는가?
• RQ4 대리 보상으로 인해 적대적 맥 context에서의 성능 보장에 어떤 영향이 있는가?

주요 결과

• 단순하고 모듈식의 축소 스킴이 적대적 맥 context 설정에서 보장을 개선한다.
• 축소는 온라인 회귀 오라클을 활용해 무제약 CB를 위한 대리 보상을 정의한다.
• 지속 설정에서 간결하고 투명한 분석을 제공한다.
• 이 스킴은 SquareCB 프레임워크를 제약적이고 적대적 맥 context 시나리오로 확장한다.