[论文解读] MDL-motivated compression of GLM ensembles increases interpretability and retains predictive power

Boris Hayete, Matthew Valko+2 more|arXiv (Cornell University)|Nov 21, 2016

Explainable Artificial Intelligence (XAI)参考文献 1被引用 3

一句话总结

本文提出了一种基于最小描述长度（MDL）的广义线性模型（GLM）集成压缩方法，显著提升了可解释性，同时预测性能损失极小。通过使用层次聚类对GLM系数进行聚类，并利用质心对每个聚类进行总结，该方法在保持AUC不变的同时显著减小了集成模型的规模——在多个数据集上，包括肺腺癌数据集（AUC为0.67）和白血病数据集（AUC为0.99），其性能与完整集成模型几乎完全一致。

ABSTRACT

Over the years, ensemble methods have become a staple of machine learning. Similarly, generalized linear models (GLMs) have become very popular for a wide variety of statistical inference tasks. The former have been shown to enhance out- of-sample predictive power and the latter possess easy interpretability. Recently, ensembles of GLMs have been proposed as a possibility. On the downside, this approach loses the interpretability that GLMs possess. We show that minimum description length (MDL)-motivated compression of the inferred ensembles can be used to recover interpretability without much, if any, downside to performance and illustrate on a number of standard classification data sets.

研究动机与目标

• 为解决GLM集成模型中可解释性与准确率之间的权衡问题，这类模型虽强大但因模型复杂度过高而难以理解。
• 开发一种方法，将大型GLM集成模型压缩为紧凑且可解释的摘要形式，同时不损失预测能力。
• 使集成模型在转化医学等高风险领域中得以实际部署，其中模型透明性至关重要。
• 验证基于质心的压缩方法在MDL原则指导下能否保持与完整集成模型相当的性能。

提出的方法

• 将GLM集成模型成员表示为高维笛卡尔空间中的系数向量，使用统计显著性（−log p值）作为特征表示。
• 应用层次聚类，根据系数模式将相似的GLM模型分组，识别出具有共享预测结构的模型聚类。
• 通过仅使用该聚类中模型所包含的项，重新拟合一个质心模型来总结每个聚类，从而确保可解释性和稀疏性。
• 使用贝叶斯信息准则（BIC）作为评分函数，平衡模型拟合度与描述长度，指导聚类选择与压缩过程。
• 通过在3折交叉验证和3次重复实验中评估压缩效果，使用样本外AUC和配对t检验评估性能稳定性。
• 比较两种压缩策略：基于中位数的压缩与基于质心的压缩，以完整集成模型作为基线。

实验结果

研究问题

• RQ1 基于MDL的GLM集成压缩方法是否能在极大提升可解释性的同时，保持预测性能？
• RQ2 在预测准确率和模型简洁性方面，基于质心的压缩方法与基于中位数的压缩方法相比如何？
• RQ3 集成压缩在多大程度上减少了模型大小与复杂度，而不会降低样本外AUC？
• RQ4 在多种不同数据集上，压缩后模型的性能下降是否具有统计显著性？

主要发现

• 在肺腺癌数据集中，基于质心压缩的GLM集成模型实现了0.67的样本外AUC，与完整集成模型性能完全一致（单侧t检验p = 0.07）。
• 在白血病数据集中，基于质心压缩的集成模型实现了0.99的AUC，与完整集成模型无差异，且无显著性能损失。
• 基于中位数压缩的集成模型在肺腺癌数据集中表现出轻微但具有统计显著性的性能下降（p = 0.004），AUC为0.63，而完整集成模型为0.67。
• 基于质心的压缩策略在肺腺癌数据集中仅保留了两个模型中的三个预测变量，而未压缩的集成模型则包含大量难以解释的变量。
• 性能下降极小，且在统计上具有提示性（0.05 < p < 0.1），表明该方法在各类数据集中均具有鲁棒性。
• 该方法使人工全面检查压缩后模型成为可能，揭示了在小样本情形（p >> n）下系数标准误中的过拟合模式。