[论文解读] GENESIM: genetic extraction of a single, interpretable model

Gilles Vandewiele, Olivier Janssens+3 more|arXiv (Cornell University)|Nov 17, 2016

Gene expression and cancer classification参考文献 8被引用 25

一句话总结

GENESIM 是一种基于遗传算法的方法，可将决策树集成模型转化为单一、高度可解释的决策树，同时保持与集成方法相当的预测性能。通过利用基于集成预测结果的适应度函数演化候选树种群，GENESIM 在准确性和可解释性之间取得平衡，其性能优于标准决策树算法，并在模型复杂度极低的情况下达到与集成方法相当的性能。

ABSTRACT

Models obtained by decision tree induction techniques excel in being interpretable.However, they can be prone to overfitting, which results in a low predictive performance. Ensemble techniques are able to achieve a higher accuracy. However, this comes at a cost of losing interpretability of the resulting model. This makes ensemble techniques impractical in applications where decision support, instead of decision making, is crucial. To bridge this gap, we present the GENESIM algorithm that transforms an ensemble of decision trees to a single decision tree with an enhanced predictive performance by using a genetic algorithm. We compared GENESIM to prevalent decision tree induction and ensemble techniques using twelve publicly available data sets. The results show that GENESIM achieves a better predictive performance on most of these data sets than decision tree induction techniques and a predictive performance in the same order of magnitude as the ensemble techniques. Moreover, the resulting model of GENESIM has a very low complexity, making it very interpretable, in contrast to ensemble techniques.

研究动机与目标

• 解决机器学习中预测准确性与模型可解释性之间的权衡问题。
• 开发一种后处理技术，将集成模型转换为单一、人类可读的决策树。
• 在显著降低模型复杂度的同时保持高预测性能，相比集成方法更具优势。
• 使模型在需要专家可解释性的领域（如医学和金融）中具备实际可部署性。
• 通过结合分布式模型训练与遗传优化，为大数据提供可扩展的解决方案。

提出的方法

• GENESIM 使用遗传算法，基于现有集成树模型的预测结果，演化候选决策树种群。
• 通过将候选树的预测结果与集成模型在训练数据上的平均预测结果进行比较，执行适应度评估。
• 通过选择、交叉和变异操作，在多代中演化出性能更优的树结构。
• 引入多样性机制以防止过早收敛，保持对搜索空间的充分探索。
• 采用混合方法，结合贪心分裂与遗传搜索，以提升收敛速度和解的质量。
• 最终模型为一个在准确性和可解释性之间取得平衡的单一决策树，具有最少节点和清晰的决策路径。

实验结果

研究问题

• RQ1 是否可以在保持高预测性能的前提下，从一组树中构建出单一、可解释的决策树？
• RQ2 GENESIM 在多种数据集上的预测准确性与标准决策树算法和集成方法相比如何？
• RQ3 GENESIM 相比集成技术在多大程度上降低了模型复杂度，同时不牺牲准确性？
• RQ4 遗传算法方法是否能有效优化决策树结构，使其性能达到或超过集成方法？
• RQ5 GENESIM 是否具备可扩展性与实用性，适用于需要专家可解释性的现实应用场景？

主要发现

• 在12个数据集中的10个上，GENESIM 的预测准确率高于 C4.5、CART 和 QUEST，表明其在性能上优于标准决策树算法。
• 在 heart、breast 和 wine 数据集上，GENESIM 的准确率（分别为 0.8557、0.9591 和 0.9709）与 XGBoost 和 Random Forest 相差不到1%，表明其性能与集成方法相当。
• GENESIM 生成的模型复杂度显著降低——例如，在 heart 数据集上仅含 17.44 个节点，远低于 XGBoost 的 408.48 和 Random Forest 的 448.61，使其具有高度可解释性。
• 该方法在准确率上优于 ISM 和 STEL，同时保持更简单、更可解释的结构，有效解决了先前后处理技术的关键局限。
• 在 vehicle 数据集上，GENESIM 达到 0.7115 的准确率，优于 CART（0.6988）和 ISM（0.6672），且显著降低了模型复杂度。
• GENESIM 的模型复杂度（平均 17.44 个节点）始终低于所有其他方法，包括 GUIDE（9.15）和 C4.5（23.56），同时实现了更高或相当的准确率。