[论文解读] Efficient Contextual Bandits with Continuous Actions

Maryam Majzoubi, Chicheng Zhang+4 more|arXiv (Cornell University)|Jun 10, 2020

Advanced Bandit Algorithms Research参考文献 54被引用 6

一句话总结

该论文提出CATS，一种针对连续动作的上下文Bandits问题的计算高效算法，采用树状结构策略并结合平滑动作分布。通过利用Oracle高效的监督学习，该方法实现了次线性遗憾和每轮对数时间复杂度的计算，从而在真实世界数据集上实现了可扩展的在线学习与离策略优化，并显著优于基线方法的加速效果。

ABSTRACT

We create a computationally tractable algorithm for contextual bandits with continuous actions having unknown structure. Our reduction-style algorithm composes with most supervised learning representations. We prove that it works in a general sense and verify the new functionality with large-scale experiments.

研究动机与目标

• 解决在连续动作空间中高效在线学习的挑战，其中传统的离散化或平滑性假设不切实际。
• 设计一种计算上可行的算法，避免依赖已知的平滑性参数（如Lipschitz常数）。
• 通过平滑技术在全动作空间中诱导探索，实现基于日志数据的离策略模型选择。
• 在保持低每轮计算成本的同时，实现理论上的遗憾保证，适用于大规模应用。
• 与现有监督学习表示形式无缝集成，便于实际部署。

提出的方法

• 提出CATS，一种ε-greedy算法，利用监督学习器的二叉树结构将上下文路由至动作，每个叶节点代表一个区间上的平滑动作分布。
• 采用树策略类，其中每个内部节点维护一个分类器用于上下文路由，每个叶节点输出一个带带宽参数的平滑动作分布。
• 通过递归更新过程实现在线训练，将奖励反馈沿树向上传播，并使用递归代价函数在每个节点维护代价估计。
• 通过避免对策略参数的完整枚举，将每轮计算减少至O(log K)，其中K为叶节点数，从而实现Oracle效率。
• 提出CATS_Off，一种离策略变体，利用日志数据训练并选择不同复杂度的树策略，实现无需在线交互的模型选择。
• 对策略和基准均应用平滑处理，提升对非平滑环境的鲁棒性，并降低对带宽选择的敏感性。

实验结果

研究问题

• RQ1 我们能否设计一种适用于连续动作的上下文Bandits算法，使其在无需事先知晓平滑性参数的前提下，兼具计算效率与理论可靠性？
• RQ2 如何在保持低每轮计算成本的同时，实现在连续动作上下文Bandits中的次线性遗憾？
• RQ3 我们能否利用日志数据实现对连续动作Bandits的离策略模型选择？若可，平滑处理在其中起到何种作用？
• RQ4 在真实世界场景中，基于树的平滑方法相较于均匀离散化与参数化模型，性能优势有多大？
• RQ5 Oracle高效的架构是否能够实现与大规模应用中现有监督学习流水线的无缝集成？

主要发现

• CATS实现了每轮O(log K)的计算时间，相较于传统方法需完整枚举策略参数，实现了指数级性能提升。
• 在可实现性假设下，CATS在树策略类上实现了次线性遗憾，确保长期性能持续提升。
• CATS_Off通过平滑技术在全动作空间中诱导探索，实现了有效的离策略模型选择，支持最优树深度与带宽的选择。
• 在真实数据集上的实验表明，CATS在累积奖励与训练效率方面均优于dLinear与dTree等基线方法，训练时间显著加速。
• 该算法对带宽选择具有鲁棒性，通过重叠带宽使用与自适应区间选择，性能可进一步提升。
• 将CATS集成至Vowpal Wabbit后，验证了其在生产环境类似场景中的可扩展性与高效性。