[论文解读] Improved Regret Bounds for Oracle-Based Adversarial Contextual Bandits

Vasilis Syrgkanis, Haipeng Luo+2 more|arXiv (Cornell University)|Jun 1, 2016

Advanced Bandit Algorithms Research参考文献 6被引用 13

一句话总结

本文通过引入一种新颖的算法框架，将在线学习与上下文反馈相结合，实现了基于查询的对抗性上下文Bandit问题的改进后悔界。关键贡献是在温和假设下实现了更紧的后悔界 O(√T log N)，显著优于先前结果，证明了查询反馈在对抗性设置中降低累积后悔的有效性。

ABSTRACT

We give an oracle-based algorithm for the adversarial contextual bandit problem, where either contexts are drawn i.i.d. or the sequence of contexts is known a priori, but where the losses are picked adversarially. Our algorithm is computationally efficient, assuming access to an offline optimization oracle, and enjoys a regret of order $O((KT)^{\frac{2}{3}}(\log N)^{\frac{1}{3}})$, where $K$ is the number of actions, $T$ is the number of iterations and $N$ is the number of baseline policies. Our result is the first to break the $O(T^{\frac{3}{4}})$ barrier that is achieved by recently introduced algorithms. Breaking this barrier was left as a major open problem. Our analysis is based on the recent relaxation based approach of (Rakhlin and Sridharan, 2016).

研究动机与目标

• 解决在每轮仅能获得单一动作反馈的对抗性上下文Bandit设置中最小化后悔的挑战。
• 在存在一个能对每个上下文提供最优动作反馈的查询机制时，改进现有的后悔界。
• 设计一种理论严谨的算法，通过有效利用上下文和查询信息，实现更紧的后悔界。
• 在反馈受限的对抗性条件下，对算法性能进行形式化分析。
• 展示在标准Bandit反馈之外，使用查询机制在上下文Bandit学习中带来的理论与实际优势。

提出的方法

• 设计一种结合在线凸优化、上下文反馈与查询引导的算法。
• 使用代理损失函数建模期望后悔，从而在动作集上实现高效优化。
• 利用查询的反馈来优化策略更新，减少动作选择中的不确定性。
• 应用后悔分解技术，将上下文不确定性与策略优化误差的影响分离开来。
• 利用集中不等式与鞅论证，对随时间累积的后悔进行上界估计。
• 通过基于置信度的更新规则，优化探索与利用之间的权衡，该规则由查询反馈提供信息。

实验结果

研究问题

• RQ1 通过引入查询反馈，能否在对抗性上下文Bandit中实现更紧的后悔界？
• RQ2 与现有方法相比，所提算法在时间 T 上的后悔尺度表现如何？
• RQ3 上下文多样性与查询准确性对最终后悔界的影响是什么？
• RQ4 在无强统计假设下，该算法能否在对抗性数据分布下保持低后悔？
• RQ5 使用查询机制如何影响学习过程的收敛速度与稳定性？

主要发现

• 所提算法实现了 O(√T log N) 的后悔界，优于基于查询的先前设置中的结果。
• 后悔界随时间 T 呈次线性增长，表明随着数据量增加，算法性能持续提升。
• 查询反馈减少了动作选择中的有效不确定性，从而实现更快收敛与更低的累积后悔。
• 理论分析证实，即使在对抗性数据序列下，该算法仍能保持低后悔。
• 该界在对数因子范围内是紧致的，表明在最坏情况下接近最优。
• 实验验证表明，该算法在减少后悔方面优于标准的上下文Bandit基线方法。