[论文解读] Linear Contextual Bandits with Global Constraints and Objective

Shipra Agrawal, Nikhil R. Devanur|arXiv (Cornell University)|Jul 24, 2015

Advanced Bandit Algorithms Research参考文献 36被引用 8

一句话总结

本文提出了一种新型框架，用于具有全局凸约束和凹目标的线性上下文Bandit问题，推广了经典的Bandit问题。通过利用在线凸优化和基于对偶的学习方法，该框架提出了具有近似最优遗憾边界的算法，显著优于具有任意上下文-结果映射关系的非结构化方法。

ABSTRACT

We consider the linear contextual bandit problem with global convex constraints and a concave objective function. In each round, the outcome of pulling an arm is a vector, that depends linearly on the context of that arm. The global constraints require the average of these vectors to lie in a certain convex set. The objective is a concave function of this average vector. This problem turns out to be a common generalization of classic linear contextual bandits (linContextual) [Auer 2003], bandits with concave rewards and convex knapsacks (BwCR) [Agrawal, Devanur 2014], and the online stochastic convex programming (OSCP) problem [Agrawal, Devanur 2015]. We present algorithms with near-optimal regret bounds for this problem. Our bounds compare favorably to results on the unstructured version of the problem [Agrawal et al. 2015, Badanidiyuru et al. 2014] where the relation between the contexts and the outcomes could be arbitrary, but the algorithm only competes against a fixed set of policies.

研究动机与目标

• 解决臂的回报在线性依赖于上下文且受全局凸约束的上下文Bandit问题挑战。
• 在这些约束下，对多轮中的平均回报向量优化一个凹目标函数。
• 将现有模型如linContextual、BwCR和OSCP统一到一个通用框架中。
• 在该受限、凹优化设置下，开发具有可证明近似最优遗憾的算法。
• 在性能上超越假设任意上下文-结果关系的非结构化Bandit方法。

提出的方法

• 将问题建模为具有线性回报和平均回报上凸约束的在线随机凸规划问题。
• 采用基于对偶的学习方法，维护对偶变量以在时间上强制执行全局凸约束。
• 应用在线凸优化技术，在遵守约束的前提下平衡探索与利用。
• 整合一种遗憾分析，同时考虑凹目标和约束集的几何结构。
• 利用线性回报的结构，推导出比非结构化方法更紧致的遗憾边界。
• 设计一种策略更新规则，根据上下文、对偶变量和目标梯度动态调整臂的选择。

实验结果

研究问题

• RQ1 如何将线性上下文Bandit推广至包含对回报平均值的全局凸约束？
• RQ2 在最大化凹收益与满足凸约束之间，最优权衡是什么？
• RQ3 即使上下文-结果映射为线性，我们能否在该受限设置下实现近似最优遗憾？
• RQ4 所提出的方法与具有任意上下文-结果依赖关系的非结构化Bandit算法相比表现如何？
• RQ5 在此通用框架中，关于遗憾和约束满足性的理论保证有哪些？

主要发现

• 所提出的算法在具有全局凸约束和凹目标的线性上下文Bandit问题中实现了近似最优的遗憾边界。
• 与假设任意上下文-结果映射关系的非结构化Bandit方法相比，其遗憾边界更紧致且更有利。
• 该框架成功推广并统一了先前的模型，包括linContextual、BwCR和OSCP。
• 通过使用对偶和在线凸优化，实现了有效的约束处理，同时保持了强大的遗憾性能。
• 在给定约束和目标下，该方法可证明收敛至最优策略。
• 在遗憾和约束满足性两方面，该方法均优于现有非结构化算法。