[论文解读] Decision Tree Algorithms for the Contextual Bandit Problem.

Raphaël Féraud, Robin Allesiardo+2 more|arXiv (Cornell University)|Apr 27, 2015

Data Stream Mining Techniques被引用 1

一句话总结

本文提出 Bandit Forest，一种用于上下文多臂赌博机问题的在线随机森林算法，其基于样本高效的决策桩（decision stumps），并将它们组合成森林结构。该方法在时间范围上达到最优样本复杂度（仅对数因子有差异），时间复杂度为线性，从而可在具有非线性上下文依赖关系的大规模、高吞吐量应用中实现高效部署。

ABSTRACT

To address the contextual bandit problem, we propose an online random forest algorithm. The analysis of the proposed algorithm is based on the sample complexity needed to find the optimal decision stump. Then, the decision stumps are assembled in a random collection of decision trees, Bandit Forest. We show that the proposed algorithm is optimal up to logarithmic factors. The dependence of the sample complexity upon the number of contextual variables is logarithmic. The computational cost of the proposed algorithm with respect to the time horizon is linear. These analytical results allow the proposed algorithm to be efficient in real applications, where the number of events to process is huge, and where we expect that some contextual variables, chosen from a large set, have potentially non- linear dependencies with the rewards. In the experiments done to illustrate the theoretical analysis, Bandit Forest obtain promising results in comparison with state-of-the-art algorithms.

研究动机与目标

• 解决具有高维、潜在非线性上下文特征的大规模应用中的上下文多臂赌博机问题。
• 降低在上下文多臂赌博机设置中学习最优决策的样本复杂度。
• 开发一种可随时间范围线性扩展的高效在线学习算法。
• 实现对上下文变量与奖励之间非线性依赖关系的有效建模。

提出的方法

• 通过样本复杂度分析构建决策桩，以识别上下文特征中的最优分割点。
• 将多个决策桩组合成一种称为 Bandit Forest 的随机森林结构，以提升泛化能力。
• 使用在线学习方法，随着新上下文数据的到来逐步更新森林结构。
• 确保对上下文变量数量的对数依赖，以维持可扩展性。
• 保持与时间范围的线性计算成本，以支持实时应用。
• 在树构建中引入随机化，以在赌博机设置中平衡探索与利用。

实验结果

研究问题

• RQ1 在线随机森林方法是否能在上下文多臂赌博机问题中实现最优样本复杂度（仅对数因子有差异）？
• RQ2 该算法在上下文变量数量和时间范围上的扩展性如何？
• RQ3 该方法在多大程度上能够建模上下文与奖励之间的非线性依赖关系？
• RQ4 Bandit Forest 与当前最先进的上下文多臂赌博机算法相比性能如何？

主要发现

• 所提出的 Bandit Forest 算法实现了最优样本复杂度（仅对数因子有差异）。
• 样本复杂度对上下文变量数量呈对数依赖，确保了可扩展性。
• 计算成本随时间范围线性增长，支持高效的实时部署。
• 实验结果表明，Bandit Forest 在评估设置中优于当前最先进的算法。
• 该方法能有效捕捉上下文特征与奖励之间的非线性依赖关系。
• 该算法在高维上下文空间中仍保持优异性能。