[论文解读] Efficient Constrained Regret Minimization

Mehrdad Mahdavi, Tianbao Yang+1 more|arXiv (Cornell University)|May 8, 2012

Advanced Bandit Algorithms Research参考文献 22被引用 8

一句话总结

本文提出拉格朗日指数加权平均（LEWA）算法，一种原对偶在线学习方法，在对抗性反馈下高效最小化遗憾，同时约束决策序列。通过利用拉格朗日松弛和自适应对偶变量，LEWA 在完整信息设置下实现 $\tilde{O}(\sqrt{T})$ 遗憾和 $O(T^{3/4})$ 的期望约束违规，高概率界限可扩展至Bandit反馈模型。

ABSTRACT

Online learning constitutes a mathematical and compelling framework to analyze sequential decision making problems in adversarial environments. The learner repeatedly chooses an action, the environment responds with an outcome, and then the learner receives a reward for the played action. The goal of the learner is to maximize his total reward. However, there are situations in which, in addition to maximizing the cumulative reward, there are some additional constraints on the sequence of decisions that must be satisfied on average by the learner. In this paper we study an extension to the online learning where the learner aims to maximize the total reward given that some additional constraints need to be satisfied. By leveraging on the theory of Lagrangian method in constrained optimization, we propose Lagrangian exponentially weighted average (LEWA) algorithm, which is a primal-dual variant of the well known exponentially weighted average algorithm, to efficiently solve constrained online decision making problems. Using novel theoretical analysis, we establish the regret and the violation of the constraint bounds in full information and bandit feedback models.

研究动机与目标

• 解决在线决策问题，其中累积奖励最大化必须与对抗性反馈下的平均约束满足共存。
• 开发一种系统性的算法框架，以在序列决策中平衡遗憾最小化与约束合规。
• 将现有在线学习方法扩展以处理约束，利用拉格朗日对偶性，实现高效且理论基础坚实的方法。
• 在完整信息和Bandit反馈模型中，建立遗憾和约束违规的期望与高概率性能界限。

提出的方法

• 提出LEWA算法作为指数加权平均（EWA）方法的原对偶变体，通过拉格朗日松弛处理约束。
• 使用对偶变量追踪约束违规，并通过带自适应步长的投影次梯度法更新。
• 通过EWA分布与均匀探索的凸组合实现随机动作选择，以平衡探索与利用。
• 在Bandit设置中，使用置信上界估计奖励和约束，以减少部分反馈中的不确定性。
• 应用集中不等式和新颖的理论分析，推导遗憾和约束违规的高概率界限。
• 提出LEWA的高概率变体，对奖励和约束引入置信区间，确保在部分反馈下的鲁棒性。

实验结果

研究问题

• RQ1 原对偶在线学习算法能否在对抗性环境中实现次线性遗憾，同时确保约束违规有界？
• RQ2 如何有效将拉格朗日松弛集成到在线学习中，以平衡奖励最大化与约束满足？
• RQ3 在完整信息和Bandit反馈模型中，能否为遗憾和约束违规建立性能保证？
• RQ4 在仅有限观测奖励和约束的局部反馈下，能否推导出遗憾和约束违规的高概率界限？

主要发现

• LEWA算法在完整信息设置下实现 $\tilde{O}(\sqrt{T})$ 遗憾和 $O(T^{3/4})$ 的期望约束违规，遗憾缩放达到最优。
• 在Bandit反馈模型中，LEWA的高概率变体在 $\delta = O(T^{-1/4})$ 时实现 $O(T^{7/8})$ 遗憾和 $O(T^{7/8})$ 约束违规。
• 理论分析表明，即使在对抗性奖励序列下，该算法仍能保持次线性遗憾和趋于消失的约束违规。
• 通过引入奖励和约束的置信区间，该方法成功扩展至部分反馈设置，确保鲁棒性。
• 该框架首次为带Bandit反馈的约束在线学习中的遗憾和约束违规提供了高概率界限。
• 通过自适应对偶更新和随机动作选择，该算法在实践中表现出高效性，成功平衡了探索与利用。