[论文解读] Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data

Rocco De Rosa|arXiv (Cornell University)|Apr 12, 2016

Data Stream Mining Techniques参考文献 26被引用 3

一句话总结

该论文提出了置信度决策树（CDT），通过在流数据中使用优化的置信区间进行分裂选择，相较于霍夫丁树（Hoeffding trees）在熵、基尼指数和Kearns-Mansour标准下更准确地估计信息增益，从而提升了准确性。此外，该方法引入了一个主动学习模块，在保持高性能的同时显著降低了标注成本，并为次优分裂选择的概率提供了理论保证，实证结果也表明其在准确性和鲁棒性方面优于现有方法。

ABSTRACT

Decision tree classifiers are a widely used tool in data stream mining. The use of confidence intervals to estimate the gain associated with each split leads to very effective methods, like the popular Hoeffding tree algorithm. From a statistical viewpoint, the analysis of decision tree classifiers in a streaming setting requires knowing when enough new information has been collected to justify splitting a leaf. Although some of the issues in the statistical analysis of Hoeffding trees have been already clarified, a general and rigorous study of confidence intervals for splitting criteria is missing. We fill this gap by deriving accurate confidence intervals to estimate the splitting gain in decision tree learning with respect to three criteria: entropy, Gini index, and a third index proposed by Kearns and Mansour. Our confidence intervals depend in a more detailed way on the tree parameters. We also extend our confidence analysis to a selective sampling setting, in which the decision tree learner adaptively decides which labels to query in the stream. We furnish theoretical guarantee bounding the probability that the classification is non-optimal learning the decision tree via our selective sampling strategy. Experiments on real and synthetic data in a streaming setting show that our trees are indeed more accurate than trees with the same number of leaves generated by other techniques and our active learning module permits to save labeling cost. In addition, comparing our labeling strategy with recent methods, we show that our approach is more robust and consistent respect all the other techniques applied to incremental decision trees.

研究动机与目标

• 解决在流式条件下决策树分裂准则中置信区间缺乏严谨统计分析的问题。
• 为三种关键分裂准则（熵、基尼指数和Kearns-Mansour指数）推导出更紧密、更精确的置信区间。
• 将该框架扩展至选择性采样（主动学习）设置，其中学习器自主决定查询哪些标签以降低标注成本。
• 为使用所提出的置信区间时选择次优分裂的概率提供理论保证。
• 通过实证验证，所提方法在准确度和标签效率方面优于现有增量决策树技术。

提出的方法

• 利用霍夫丁型不等式推导出用于分裂增益估计的新置信区间边界，针对熵、基尼和Kearns-Mansour准则进行了优化。
• 应用Kullback-Leibler散度和平方根变换技术，推导出分裂准则估计误差的更紧边界。
• 提出一种选择性采样策略，利用置信区间判断是否查询标签，以最小化标注成本同时保持准确性。
• 使用并集界和集中不等式的递归应用，对树中所有节点的次优分裂选择概率进行上界控制。
• 采用随处理样本数增加而递减的时间依赖置信水平，以维持整体误差控制。
• 理论分析证明，通过τ-次优分裂路由样本的概率被控制在δ以内，且δ随时间递减。

实验结果

研究问题

• RQ1 能否为流式决策树中的熵、基尼和Kearns-Mansour分裂准则推导出更紧密的置信区间？
• RQ2 与标准霍夫丁边界相比，这些优化后的置信区间如何提升分裂选择的准确性？
• RQ3 基于这些置信区间的主动学习策略能否在不牺牲分类准确度的前提下降低标注成本？
• RQ4 使用该方法时，选择次优分裂的概率可提供何种理论保证？
• RQ5 在真实和合成的流式数据上，该方法与现有增量决策树算法相比，在准确度和标签效率方面表现如何？

主要发现

• 所提出的置信区间使生成的决策树比标准霍夫丁树更准确，即使在相同叶节点数下亦然。
• 主动学习模块显著降低了标注成本，同时在分类准确度上与其它增量树的主动学习策略相比保持或有所提升。
• 理论分析表明，通过τ-次优分裂路由样本的概率被控制在δ以内，且δ随时间递减。
• 实证结果表明，该方法在鲁棒性和一致性方面优于近期应用于增量决策树的主动学习技术。
• 在置信区间中使用KL散度和平方根变换，使估计误差边界比标准霍夫丁式边界更紧。
• 在合成和真实世界流式数据集上，该方法在准确度和标签效率方面均优于现有方法。