[论文解读] A Bayesian Decision Tree Algorithm

Giuseppe Nuti, Lluís Antoni Jiménez Rugama+1 more|arXiv (Cornell University)|Jan 10, 2019

Bayesian Modeling and Causal Inference参考文献 12被引用 7

一句话总结

本文提出了一种名为贪婪模态树（Greedy-Modal Tree, GMT）的贝叶斯决策树算法，该算法通过单一、浅层树结构实现了与随机森林相当的准确率，且无需使用马尔可夫链蒙特卡洛（MCMC）或剪枝技术。通过概率化建模树的生成过程，并在每一步选择最可能的划分，GMT在分类任务中展现出高可解释性与具有竞争力的性能。

ABSTRACT

Bayesian Decision Trees are known for their probabilistic interpretability. However, their construction can sometimes be costly. In this article we present a general Bayesian Decision Tree algorithm applicable to both regression and classification problems. The algorithm does not apply Markov Chain Monte Carlo and does not require a pruning step. While it is possible to construct a weighted probability tree space we find that one particular tree, the greedy-modal tree (GMT), explains most of the information contained in the numerical examples. This approach seems to perform similarly to Random Forests.

研究动机与目标

• 开发一种完全可解释的机器学习模型，其预测准确率可与随机森林等集成方法相媲美。
• 消除在贝叶斯决策树构建过程中对计算成本高昂的马尔可夫链蒙特卡洛（MCMC）采样和启发式剪枝的依赖。
• 提供一种用于树生成的概率框架，通过边缘似然最大化实现合理的模型选择。
• 探索使用单一、可解释的树作为高风险领域（如金融和医疗）中集成模型可行替代方案的可行性。
• 研究先验设定与平滑处理对模型性能和泛化能力的影响。

提出的方法

• 基于特征维度和分割位置的递归分割规则，构建所有可能树划分的概率空间。
• 将树生成过程建模为随机过程，其中每个节点以依赖于深度的固定概率被扩展。
• 使用β分布作为分类结果的共轭先验，从而实现每个划分的似然函数的解析计算。
• 通过在先验上积分并乘以每个叶节点中所有数据点的似然，计算每个划分的边缘似然。
• 通过在每一步选择边缘似然最高的划分，将贪婪模态树（GMT）确定为最优树。
• 通过基于局部数据计数调整先验浓度参数，应用平滑技术，以降低后验估计的方差。

实验结果

研究问题

• RQ1 在不使用MCMC或剪枝的情况下，单一贝叶斯决策树能否实现与随机森林相当的预测性能？
• RQ2 贪婪模态树（GMT）在多样化基准数据集上的性能与传统决策树及随机森林相比如何？
• RQ3 先验设定（如Beta(10,10)）对模型准确率的影响如何？自适应先验是否能提升泛化能力？
• RQ4 所提出的平滑技术在稀疏数据区域在多大程度上增强了模型稳定性并减少了过拟合？
• RQ5 GMT框架能否扩展至回归任务以及由SVM超平面定义的更大划分空间？

主要发现

• 在Heart数据集上，GMT的平均准确率为83.0%，优于DT（76.3%），并与RF（78.5%）持平，仅使用单一树结构。
• 在Credit数据集上，GMT达到82.0%的准确率，比DT（72.6%）和RF（78.1%）分别高出9.4和3.9个百分点。
• 在Seismic数据集上，GMT实现了93.2%的准确率，较RF（91.5%）高出1.7个百分点。
• 在EEG数据集上，GMT表现不如DT和RF，准确率为81.2%，低于RF的88.6%，表明其在捕捉复杂、低层次模式方面存在局限。
• GMT的训练时间始终低于RF，在Credit数据集上为823.2ms，而RF为1388.4ms，显示出计算效率优势。
• 在Ripley测试集中，δ=0.1的平滑技术降低了后验估计的方差，观察到更平滑的概率估计，相比δ=0。