[论文解读] Concept Tree: High-Level Representation of Variables for More Interpretable Surrogate Decision Trees

Xavier Renard, Nicolas Woloszko+2 more|arXiv (Cornell University)|Jun 4, 2019

Explainable Artificial Intelligence (XAI)参考文献 16被引用 8

一句话总结

本文提出概念树（Concept Trees），一种与模型无关的代理决策树方法，通过将相关或语义相关的变量分组为高层次的‘概念’来增强可解释性——这些概念可通过领域专业知识或基于相关性的聚类获得。通过将树的分裂限制在这些概念上，该方法在保持模型保真度和准确性的前提下，生成了更具直观性、全局一致性的解释。在FRED-MD宏观经济数据集上的实验表明，与标准TREPAN代理模型相比，其人类可解释性得到显著提升。

ABSTRACT

Interpretable surrogates of black-box predictors trained on high-dimensional tabular datasets can struggle to generate comprehensible explanations in the presence of correlated variables. We propose a model-agnostic interpretable surrogate that provides global and local explanations of black-box classifiers to address this issue. We introduce the idea of concepts as intuitive groupings of variables that are either defined by a domain expert or automatically discovered using correlation coefficients. Concepts are embedded in a surrogate decision tree to enhance its comprehensibility. First experiments on FRED-MD, a macroeconomic database with 134 variables, show improvement in human-interpretability while accuracy and fidelity of the surrogate model are preserved.

研究动机与目标

• 解决在高维表格数据中处理相关变量时，代理决策树面临的可解释性挑战。
• 减少标准代理模型中因任意选择相关依赖变量组中某一变量而产生的虚假简化感。
• 通过引入高层次概念作为变量的直观分组，同时提升全局和局部可解释性。
• 评估基于概念的分组是否能在不牺牲模型准确率或保真度的前提下，提升人类可读性。

提出的方法

• 概念被定义为依赖变量的分组，可通过专家知识或基于皮尔逊相关系数的聚类获得。
• 扩展TREPAN算法以支持概念，将分裂规则的约束从单个变量转移到整个概念上。
• 决策树中的每个节点通过其组成变量的子集来测试一个概念，确保相关特征被整体处理。
• 采用修改后的id2-of-3规则来选择分裂点，现应用于概念层面以提升一致性。
• 利用概念来构建树的层次结构，促进更直观、与领域对齐的解释语言。
• 该方法保持了与模型无关的特性，可应用于任意黑箱分类器。

实验结果

研究问题

• RQ1 将相关或语义相关的变量分组为高层次概念，是否能提升代理决策树的可解释性？
• RQ2 与标准TREPAN相比，基于概念的分组如何影响代理模型的保真度和准确率？
• RQ3 专家定义的概念与基于相关性的概念，在多大程度上提升了人类对模型决策的理解？
• RQ4 使用概念是否能减少在树分裂中从相关变量组中任意选择单个变量的现象？
• RQ5 基于概念的树是否能在保持局部可解释性的同时，提供更清晰、更连贯的全局解释？

主要发现

• 概念树通过围绕有意义的高层次概念组织解释，而非单个变量，显著提升了人类可解释性。
• 在概念树中使用专家定义的概念，带来了更连贯、更直观的解释结构，根节点明确识别出‘劳动力市场’为主要预测因子。
• 基于相关性的概念聚类成功恢复了有意义的分组，例如将高度相关的劳动力市场指标聚合成单一簇。
• 使用专家定义概念的概念树在准确率和保真度上与原始TREPAN模型相当，但可解释性显著更高。
• 相比之下，标准TREPAN树因从相关组中选择单个变量（如不同的就业指标）而造成混淆，掩盖了整体图景。
• 结果表明，基于概念的树能更忠实、更符合实践者需求地呈现黑箱模型的行为。