[论文解读] A Reinforcement Learning Approach to Online Learning of Decision Trees

Abhinav Garlapati, Aditi Raghunathan+2 more|arXiv (Cornell University)|Jul 24, 2015

Data Stream Mining Techniques参考文献 10被引用 5

一句话总结

该论文提出RLDT，一种基于强化学习的在线决策树算法，通过主动选择最具信息量的特征进行分类与模型学习，在保持高准确率的同时最小化特征查询次数。通过将决策树学习建模为马尔可夫决策过程（MDP），RLDT优化长期性能而非依赖贪心的短期收益，相比批量和在线基线方法，在显著减少特征查询次数的同时展现出对概念漂移的鲁棒性。

ABSTRACT

Online decision tree learning algorithms typically examine all features of a new data point to update model parameters. We propose a novel alternative, Reinforcement Learning- based Decision Trees (RLDT), that uses Reinforcement Learning (RL) to actively examine a minimal number of features of a data point to classify it with high accuracy. Furthermore, RLDT optimizes a long term return, providing a better alternative to the traditional myopic greedy approach to growing decision trees. We demonstrate that this approach performs as well as batch learning algorithms and other online decision tree learning algorithms, while making significantly fewer queries about the features of the data points. We also show that RLDT can effectively handle concept drift.

研究动机与目标

• 开发一种在线决策树学习算法，使每个数据点的特征查询次数最小化，同时保持高分类准确率。
• 通过优化长期回报而非即时信息增益，解决传统决策树算法中贪心、短视特征选择的局限性。
• 通过利用在线强化学习的自适应特性，在概念漂移存在的情况下实现增量学习。
• 提供一个统一框架，使任意强化学习算法均可用于学习最优决策树策略，支持非均匀特征成本等多样化约束。

提出的方法

• 将在线决策树学习形式化为马尔可夫决策过程（MDP），其中状态表示对数据点特征的局部知识，动作是特征查询或类别预测，奖励函数被设计以平衡准确率与查询效率。
• 采用一种惩罚错误预测和过度查询的奖励函数，促使智能体学习到准确且紧凑的决策树，同时最小化特征访问次数。
• 采用任意标准强化学习算法（如Q-learning、策略梯度）来学习从状态到动作的最优策略，实现灵活且可扩展的学习。
• 引入一种状态表示方法，追踪每个节点中哪些特征已知/未知，从而实现无需从头开始重新训练的动态和增量学习。
• 在高维或连续特征场景下，通过函数逼近和动态剪枝来管理大规模的状态和动作空间。
• 通过离散化或使用高斯混合模型等模型在线估计分裂点，支持连续特征，使算法能够适应连续取值的分布。

实验结果

研究问题

• RQ1 强化学习能否有效用于最小化在线决策树学习中的特征查询次数，同时保持高分类准确率？
• RQ2 与传统的贪心、批量和在线决策树算法相比，基于强化学习的方法在准确率和查询效率方面表现如何？
• RQ3 RLDT能否通过随时间自适应调整策略，在非平稳数据环境中有效应对概念漂移？
• RQ4 RLDT中长期回报优化与传统决策树中短视的信息增益分割方式相比有何差异？
• RQ5 RLDT框架能否通过高效的函数逼近扩展至高维和连续特征空间？

主要发现

• 在Mushroom数据集上，RLDT以每数据点仅2次特征查询实现了92.53%的准确率，优于限制深度为2的C4.5（85.33%准确率），且查询次数更少。
• 在Electricity数据集上，RLDT实现了83.26%的最终准确率和81.15%的平均准确率，优于VFDT（75.8%最终准确率）及其他在线基线方法。
• 在Electricity数据集中，RLDT对概念漂移表现出鲁棒性，通过适当的学习率保持了高性能，而许多标准在线算法则未能做到。
• 该算法显著减少了特征查询次数——在极少特征访问下实现高准确率，展现出在数据稀缺或特征获取成本高的环境中的高效性。
• RLDT通过强化学习奖励设计自然地平衡了泛化能力与准确率，消除了显式剪枝的需要。
• 实验表明，即使在严格的查询限制下，RLDT的性能仍可与批量学习算法相媲美，证明了其在低信息环境下的有效性。