[论文解读] Global Model Interpretation via Recursive Partitioning

Chengliang Yang, Anand Rangarajan+1 more|arXiv (Cornell University)|Feb 11, 2018

Machine Learning and Data Classification参考文献 30被引用 20

一句话总结

本文提出全局解释递归划分（GIRP）方法，通过黑箱模型的局部特征贡献矩阵生成全局、人类可解释的决策树。通过递归划分输入空间以最大化平均特征贡献的差异，GIRP 构建出紧凑的解释树，揭示全局决策规则，从而在医疗、视觉和自然语言处理任务中以高保真度反映模型行为，实现模型诊断与知识发现。

ABSTRACT

In this work, we propose a simple but effective method to interpret black-box machine learning models globally. That is, we use a compact binary tree, the interpretation tree, to explicitly represent the most important decision rules that are implicitly contained in the black-box machine learning models. This tree is learned from the contribution matrix which consists of the contributions of input variables to predicted scores for each single prediction. To generate the interpretation tree, a unified process recursively partitions the input variable space by maximizing the difference in the average contribution of the split variable between the divided spaces. We demonstrate the effectiveness of our method in diagnosing machine learning models on multiple tasks. Also, it is useful for new knowledge discovery as such insights are not easily identifiable when only looking at single predictions. In general, our work makes it easier and more efficient for human beings to understand machine learning models.

研究动机与目标

• 解决机器学习中局部与全局模型解释之间的差距，尤其是针对复杂且高性能的模型。
• 开发一种方法，从黑箱模型中提取全局适用、人类可理解的决策规则，同时不牺牲预测能力。
• 通过将局部解释聚合为一致的全局结构，实现高效的模型诊断与新知识发现。
• 通过揭示数百万数据样本中的一致模式，支持医疗和经济等高风险领域的人群级决策。
• 提供一种可扩展、统一的框架，适用于多种机器学习模型，包括深度学习和集成方法。

提出的方法

• 该方法以贡献矩阵作为输入，其中每个条目表示某一特征对单个数据样本预测的贡献。
• 采用类似 CART 的算法递归划分输入空间，选择能最大化子节点间平均特征贡献差异的分割点。
• 在每次分割时，算法评估所有特征和所有可能的分割点，以找到使两个子集平均贡献差异绝对值最大的分割。
• 该过程持续进行，直到满足停止条件，如最小节点大小或分割质量无显著提升。
• 最终生成的二叉树称为解释树，编码了总结整个数据集上模型行为的全局决策规则。
• 通过允许分割依赖于特征组合，该方法能够捕捉特征交互作用以及不同子群中变量重要性的异质性。

实验结果

研究问题

• RQ1 能否从多样化黑箱模型的局部特征贡献矩阵中构建出全局、人类可读的决策树？
• RQ2 对特征贡献进行递归划分是否能揭示有意义且一致的决策规则，真实反映复杂模型的行为？
• RQ3 解释树能否检测到模型过拟合或对虚假模式（如在文本分类中）的依赖？
• RQ4 该方法能否在真实应用场景（如 ICU 死亡率预测）中发现输入特征与结果之间新颖且非显而易见的关系？
• RQ5 解释树在保持可解释性的同时，多大程度上保留了原始模型的预测行为？

主要发现

• 在计算机视觉任务中，解释树正确识别出深度残差网络关注的是目标对象（如场景中的人物），而非虚假的背景特征。
• 在文本分类任务中，树揭示出随机森林模型依赖于无关或具有误导性的词语（如“not”或“but”）来区分主题，表明存在潜在过拟合。
• 在 ICU 死亡率预测中，该方法发现“1个月内出现康复与姑息治疗”是死亡的强预测因子（死亡率 85.3%），与临床直觉一致。
• 该方法还识别出“1个月内出现其他围产期黄疸”为保护性因素，提示存在此前未被充分强调的合理临床关联。
• 解释树成功捕捉到异质效应，表明特征重要性在不同患者子群中存在显著差异。
• 该方法通过揭示此前未报告或未受重视的共病模式，实现了知识发现，这些模式与 ICU 死亡率相关。