[论文解读] Hierarchical Shrinkage: improving the accuracy and interpretability of tree-based methods

Abhineet Agarwal, Yan Shuo Tan+3 more|arXiv (Cornell University)|Feb 2, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出分层收缩（Hierarchical Shrinkage, HS），一种后处理正则化方法，通过使用单一正则化参数将节点预测值收缩至其祖先均值，从而提升基于树模型的准确性和可解释性。HS在回归与分类任务中均能提升预测性能，稳定SHAP值，并平滑决策边界，且不改变树结构，可在多种数据集上超越基线模型，同时保持计算效率。

ABSTRACT

Tree-based models such as decision trees and random forests (RF) are a cornerstone of modern machine-learning practice. To mitigate overfitting, trees are typically regularized by a variety of techniques that modify their structure (e.g. pruning). We introduce Hierarchical Shrinkage (HS), a post-hoc algorithm that does not modify the tree structure, and instead regularizes the tree by shrinking the prediction over each node towards the sample means of its ancestors. The amount of shrinkage is controlled by a single regularization parameter and the number of data points in each ancestor. Since HS is a post-hoc method, it is extremely fast, compatible with any tree growing algorithm, and can be used synergistically with other regularization techniques. Extensive experiments over a wide variety of real-world datasets show that HS substantially increases the predictive performance of decision trees, even when used in conjunction with other regularization techniques. Moreover, we find that applying HS to each tree in an RF often improves accuracy, as well as its interpretability by simplifying and stabilizing its decision boundaries and SHAP values. We further explain the success of HS in improving prediction performance by showing its equivalence to ridge regression on a (supervised) basis constructed of decision stumps associated with the internal nodes of a tree. All code and models are released in a full-fledged package available on Github (github.com/csinva/imodels)

研究动机与目标

• 通过引入一种不修改树结构的新正则化方法，解决基于树模型的过拟合与不稳定性问题，特别是在样本量较小的区域。
• 通过节点预测的分层收缩，稳定决策边界与SHAP值，提升随机森林的可解释性。
• 提供一种快速、与算法无关且兼容的正则化技术，适用于任何树生长算法，包括CART、C4.5和最优树。
• 证明分层收缩通过在由树节点导出的决策桩基上近似岭回归，可降低泛化误差。
• 表明即使在预测性能提升有限的情况下，HS也能增强模型的鲁棒性与可解释性，尤其在高维或噪声较大的场景中。

提出的方法

• HS用叶子节点均值与其所有祖先均值的加权平均值替换每个叶子的预测值，权重取决于样本量和正则化参数λ。
• 收缩强度由单一正则化参数λ控制，通过广义交叉验证进行调优，以平衡偏差与方差。
• 该方法为后处理操作，即在已训练的树上应用，不修改其结构，因此可与任何树算法兼容。
• HS在数学上等价于在每个内部节点处由决策桩构成的监督基上进行岭回归，从而与经典正则化理论建立联系。
• 该方法已实现在imodels库的sklearn兼容包中，可无缝集成至现有机器学习流程。
• 该方法应用于随机森林中的单个树，通过稳定特征重要性与SHAP值，同时提升准确性和可解释性。

实验结果

研究问题

• RQ1 能否通过将节点预测值向祖先均值进行后处理收缩，提升决策树与随机森林的泛化性能？
• RQ2 分层收缩是否能稳定SHAP值与决策边界，从而增强模型可解释性？
• RQ3 与剪枝或早停等传统正则化技术相比，HS在预测准确率与鲁棒性方面表现如何？
• RQ4 在协变量偏移或数据扰动下，HS对模型性能的提升程度如何？
• RQ5 HS是否可无需结构修改而普遍适用于不同树生长算法？

主要发现

• HS在广泛的真实世界数据集上持续提升预测性能，尤其在回归与分类任务中表现显著，即使与其他正则化技术结合使用亦有增益。
• 在乳腺癌数据集上对随机森林中每棵树应用HS，可提升准确率并显著降低100次随机训练-测试划分中SHAP值的方差。
• HS使每特征的SHAP值更聚集，表明异质性降低，特征贡献更一致，从而简化解释。
• 该方法产生更平滑、更稳定的决策边界，尤其在高维设置下，提升模型对数据扰动的鲁棒性。
• HS计算高效，且兼容任何基于树的模型，包括贪心、动态规划或基于优化的方法生成的树。
• 即使在预测性能提升微小的数据集上（如Heart、Diabetes、Ionosphere），HS仍显著提升SHAP值稳定性，表明可解释性得到增强。