[论文解读] Fast Interpretable Greedy-Tree Sums

Yan Shuo Tan, Chandan Singh+7 more|arXiv (Cornell University)|Jan 28, 2022

Explainable Artificial Intelligence (XAI)被引用 9

一句话总结

本文提出了一种名为快速可解释贪婪树和（Fast Interpretable Greedy-Tree Sums, FIGS）的新算法，该算法通过同时构建多个决策树的和来捕捉数据中的加法结构，从而克服单棵树的归纳偏置。FIGS在保持高度可解释性的同时实现了最先进水平的预测性能，其变体G-FIGS在临床决策支持中将特异性提高了高达20%，且未牺牲敏感性。

ABSTRACT

Modern machine learning has achieved impressive prediction performance, but often sacrifices interpretability, a critical consideration in high-stakes domains such as medicine. In such settings, practitioners often use highly interpretable decision tree models, but these suffer from inductive bias against additive structure. To overcome this bias, we propose Fast Interpretable Greedy-Tree Sums (FIGS), which generalizes the CART algorithm to simultaneously grow a flexible number of trees in summation. By combining logical rules with addition, FIGS is able to adapt to additive structure while remaining highly interpretable. Extensive experiments on real-world datasets show that FIGS achieves state-of-the-art prediction performance. To demonstrate the usefulness of FIGS in high-stakes domains, we adapt FIGS to learn clinical decision instruments (CDIs), which are tools for guiding clinical decision-making. Specifically, we introduce a variant of FIGS known as G-FIGS that accounts for the heterogeneity in medical data. G-FIGS derives CDIs that reflect domain knowledge and enjoy improved specificity (by up to 20% over CART) without sacrificing sensitivity or interpretability. To provide further insight into FIGS, we prove that FIGS learns components of additive models, a property we refer to as disentanglement. Further, we show (under oracle conditions) that unconstrained tree-sum models leverage disentanglement to generalize more efficiently than single decision tree models when fitted to additive regression functions. Finally, to avoid overfitting with an unconstrained number of splits, we develop Bagging-FIGS, an ensemble version of FIGS that borrows the variance reduction techniques of random forests. Bagging-FIGS enjoys competitive performance with random forests and XGBoost on real-world datasets.

研究动机与目标

• 解决单棵决策树的归纳偏置问题，该问题会限制其在加法回归函数上的性能。
• 开发一种方法，在保持可解释性的同时实现高预测性能，特别是在医学等高风险领域。
• 实现树和模型中加法分量的解耦，以提升泛化能力并减少过拟合。
• 构建一种临床可解释的模型（G-FIGS），尊重领域知识，并在医学决策中提升特异性。
• 提供一种可扩展的、与集成方法兼容的框架（Bagging-FIGS），其性能可与随机森林和XGBoost相媲美或超越。

提出的方法

• FIGS通过在树的和中贪婪地逐次添加分裂点，而非仅构建单棵树，从而将CART算法推广至多棵树的和。
• 该算法选择在所有树的和中能最大程度提升目标函数的分裂点，从而高效发现加法分量。
• 它利用了一种类解耦特性，使得和中的每棵树都能学习到潜在函数的一个独立加法分量。
• G-FIGS通过引入领域特定约束和对异质性的感知分裂，扩展了FIGS，以提升临床相关性。
• Bagging-FIGS将自助采样（bagging）应用于树和模型，以降低方差并提升泛化能力，类似于随机森林。
• 该方法采用与scikit-learn兼容的API，并集成至imodels工具包中，以确保可复现性和实际部署的可行性。

实验结果

研究问题

• RQ1 树和模型是否能比单棵树更高效地学习加法分量，且是否能带来更好的泛化能力？
• RQ2 如何在决策树模型中同时实现可解释性与高预测性能？
• RQ3 贪婪的、迭代的树和方法是否能超越随机森林和XGBoost等标准集成方法？
• RQ4 在多大程度上可以将领域知识编码进基于树的模型中，以提升医学决策中的特异性？
• RQ5 在理想条件下，树和模型中加法分量的解耦是否能带来统计上更高效的模型学习？

主要发现

• FIGS在真实世界数据集上实现了最先进水平的预测性能，同时保持了高度可解释性。
• 在临床决策工具建模中，G-FIGS相比CART将特异性提高了高达20%，且未降低敏感性。
• 在理想条件下，无约束的树和模型在拟合加法回归函数时，其泛化效率优于单棵决策树。
• FIGS的解耦特性使其能够学习真实函数的各个独立加法分量，而单棵树无法高效实现这一点。
• Bagging-FIGS在真实世界数据集上实现了与随机森林和XGBoost相当的性能，展现出鲁棒性和可扩展性。
• 理论分析表明，FIGS的泛化误差是被限制的，并且随着加法分量数量的增加而改善，尤其是在分裂点选择以最小化方差时。