[论文解读] A Practical Method for Solving Contextual Bandit Problems Using Decision Trees

Adam N. Elmachtoub, Ryan McNellis+2 more|arXiv (Cornell University)|Jun 14, 2017

Advanced Bandit Algorithms Research参考文献 22被引用 20

一句话总结

本文提出 TreeBootstrap，一种实用的上下文多臂老虎机算法，利用决策树建模上下文-奖励关系，并通过自助采样法引导探索，无需调参。该方法在模拟和真实世界数据集上均表现出色，性能优于众多最先进方法，尤其在非线性关系或缺乏特征工程时线性模型失效的场景下表现更优。

ABSTRACT

Many efficient algorithms with strong theoretical guarantees have been proposed for the contextual multi-armed bandit problem. However, applying these algorithms in practice can be difficult because they require domain expertise to build appropriate features and to tune their parameters. We propose a new method for the contextual bandit problem that is simple, practical, and can be applied with little or no domain expertise. Our algorithm relies on decision trees to model the context-reward relationship. Decision trees are non-parametric, interpretable, and work well without hand-crafted features. To guide the exploration-exploitation trade-off, we use a bootstrapping approach which abstracts Thompson sampling to non-Bayesian settings. We also discuss several computational heuristics and demonstrate the performance of our method on several datasets.

研究动机与目标

• 解决在现实场景中应用上下文多臂老虎机算法时面临的实际挑战，尤其是在缺乏领域专业知识和特征工程的情况下。
• 消除现有算法中常见的手工调参探索参数的需求。
• 开发一种可解释、非参数化且无需数据转换或对奖励结构做先验假设的有效方法。
• 提升在线性模型表现不佳的非线性、二值奖励问题上的性能。
• 为实时个性化推荐系统提供一种鲁棒、易于部署的解决方案，且设置简单。

提出的方法

• 使用决策树作为基础学习器来建模上下文-奖励关系，实现非参数化、可解释且无需特征工程的学习。
• 采用基于自助采样的探索策略，在非贝叶斯设置下模拟 Thompson 采样，避免对探索参数进行调优。
• 应用一种计算启发式方法，通过重用先前训练的树并仅对相关子集重新训练，加速树的拟合过程。
• 通过将正确预测视为奖励 1，错误预测视为 0，对二值奖励进行建模，将标准分类数据集适配用于老虎机评估。
• 使用离线决策树作为性能基线，计算相对于最优性能的累积遗憾。
• 采用交叉验证对线性与逻辑回归基线进行正则化，以提升其性能，确保公平比较。

实验结果

研究问题

• RQ1 基于决策树的上下文多臂老虎机算法是否能在无需领域特定特征工程的情况下实现优异性能？
• RQ2 基于自助采样的探索策略是否能在无需调参的情况下实现有效探索，并优于传统的 epsilon-greedy 或 UCB 风格方法？
• RQ3 在具有复杂非线性上下文-奖励关系的真实世界数据集上，该算法表现如何，尤其当线性模型因模型误设而失效时？
• RQ4 该算法是否能在长时间运行中保持低遗憾，特别是在线性模型已收敛但因模型误设而不准确时？
• RQ5 计算启发式方法对在线设置中的训练速度和整体性能有何影响？

主要发现

• TreeBootstrap 在所有测试的模拟和真实世界数据集上，包括体育广告和 UCI 数据集，性能均达到或优于最先进算法。
• 在 Adult 和 Census UCI 数据集上，TreeBootstrap 在至少一半的参数设置下优于 LinUCB 和 LogisticUCB，即使后两者已调优至最优探索参数。
• 在 Covertype 和 Shuttle 数据集上，TreeBootstrap 与线性模型之间的性能差距随时间推移而扩大，表明决策树更能捕捉真实的非线性奖励结构。
• 与 BanditForest 相比，该算法显著降低了累积遗憾，尤其是在早期时间步，归因于避免了长期的纯探索阶段。
• 计算启发式方法显著缩短了训练时间，同时保持了高性能，使该算法适用于实时系统中的实际部署。
• 即使不进行特征工程，TreeBootstrap 仍取得了优异结果，证明了其在低数据、高不确定性场景下的鲁棒性。