[论文解读] Enhancing LIME using Neural Decision Trees

Mohamed Aymen Bouyahia, Argyris Kalogeratos|arXiv (Cornell University)|Mar 21, 2026

Explainable Artificial Intelligence (XAI)被引用 0

一句话总结

本文提出 NDT-LIME，在局部代理中使用神经决策树（NDT）以提高表格数据的保真度与可解释性，在基准数据集上相较于传统 LIME 代理具有更高的局部保真度。

ABSTRACT

Interpreting complex machine learning models is a critical challenge, especially for tabular data where model transparency is paramount. Local Interpretable Model-Agnostic Explanations (LIME) has been a very popular framework for interpretable machine learning, also inspiring many extensions. While traditional surrogate models used in LIME variants (e.g. linear regression and decision trees) offer a degree of stability, they can struggle to faithfully capture the complex non-linear decision boundaries that are inherent in many sophisticated black-box models. This work contributes toward bridging the gap between high predictive performance and interpretable decision-making. Specifically, we propose the NDT-LIME variant that integrates Neural Decision Trees (NDTs) as surrogate models. By leveraging the structured, hierarchical nature of NDTs, our approach aims at providing more accurate and meaningful local explanations. We evaluate its effectiveness on several benchmark tabular datasets, showing consistent improvements in explanation fidelity over traditional LIME surrogates.

研究动机与目标

• 弥合表格数据中高预测性能与可解释的局部解释之间的差距。
• 在 LIME 框架内集成神经决策树（NDT）作为局部代理模型。
• 在基准数据集上展示解释保真度与稳定性的提升，相较传统 LIME 代理。
• 提供对更平滑、更忠实的局部解释的理论与经验性证据。
• 提供开源实现以促进采用与进一步研究。

提出的方法

• 在 LIME 中用神经决策树（NDT）替代标准代理作为局部解释器。
• 从在局部邻域上训练的常规决策树进行初始化（暖启动）。
• 通过基于梯度的优化微调 NDT，以最小化局部保真度损失：L_fidelity = sum_i pi(x_i, x) ||f(x_i) - g(x_i)||^2，其中 pi 是输入空间中的高斯核。
• 通过三层神经网络将 DT 表示为 NDT，具有两层隐藏层和一输出层，实现可微分的分裂。
• 通过追踪到叶节点的路径并计算梯度，从训练好的 NDT 中提取解释（如特征重要性或规则）。
• 在八个基准数据集上比较 NDT-LIME 与 LR-LIME 和 DT-LIME，采用保真度、稳定性和正则性指标进行评估。

实验结果

研究问题

• RQ1 将 NDT 作为 LIME 代理是否相较线性或贪心 DT 代理能提升局部保真度？
• RQ2 基于 NDT 的解释在扰动下是否提供更稳定、更加正则的局部解释？
• RQ3 NDT-LIME 在不同表格数据集上的保真度、稳定性与正则性表现如何？
• RQ4 从传统决策树初始化 NDT 对解释质量有何影响？
• RQ5 增加的计算成本是否被解释质量的提升所正当化？

主要发现

Dataset	Stability LR-LIME	Stability DT-LIME	Stability NDT-LIME	Fidelity LR-LIME	Fidelity DT-LIME	Fidelity NDT-LIME	Regularity LR-LIME	Regularity DT-LIME	Regularity NDT-LIME
Breast Cancer	0.997 ± 0.003	0.986 ± 0.103	0.991 ± 0.004	0.527 ± 0.085	0.686 ± 0.049	0.785 ± 0.031	0.812 ± 0.014	0.873 ± 0.005	0.915 ± 0.024
Iris	0.994 ± 0.006	0.997 ± 0.003	0.943 ± 0.010	0.554 ± 0.150	0.777 ± 0.037	0.860 ± 0.021	0.743 ± 0.017	0.813 ± 0.028	0.820 ± 0.039
Wine	0.999 ± 0.001	0.997 ± 0.001	0.998 ± 0.002	0.321 ± 0.133	0.395 ± 0.183	0.518 ± 0.131	0.830 ± 0.019	0.864 ± 0.042	0.910 ± 0.023
Digits	0.980 ± 0.009	0.961 ± 0.091	0.816 ± 0.023	0.243 ± 0.141	0.440 ± 0.076	0.577 ± 0.106	0.654 ± 0.021	0.512 ± 0.084	0.563 ± 0.034
Covtype	0.984 ± 0.005	0.983 ± 0.108	0.931 ± 0.007	0.362 ± 0.052	0.556 ± 0.110	0.632 ± 0.067	0.890 ± 0.012	0.926 ± 0.020	0.849 ± 0.072
California Housing	0.999 ± 0.000	0.999 ± 0.000	0.973 ± 0.001	0.297 ± 0.148	0.890 ± 0.022	0.960 ± 0.014	0.834 ± 0.009	0.864 ± 0.011	0.794 ± 0.033
Diabetes	0.999 ± 0.001	0.999 ± 0.001	0.998 ± 0.002	0.886 ± 0.012	0.562 ± 0.124	0.920 ± 0.035	0.956 ± 0.010	0.794 ± 0.102	0.978 ± 0.017
Ames Housing	0.998 ± 0.000	0.996 ± 0.041	0.990 ± 0.013	0.865 ± 0.030	0.506 ± 0.062	0.713 ± 0.054	0.976 ± 0.008	0.903 ± 0.012	0.893 ± 0.027

• NDT-LIME 在大多数数据集上通常具有更高的保真度（R^2），相较于 LR-LIME 和 DT-LIME，且在 California Housing 与 Diabetes 数据集上有显著提升。
• NDT-LIME 提供与基线相当的强稳定性，在某些数据集因更强的表达能力而稳定性略低。
• NDT-LIME 具备更高的正则性，尤其相对于线性代理时在邻近数据点间的解释更为平滑。
• 在各数据集上，NDT-LIME 通过利用 NDT 的表达能力，在可解释性与保真度之间取得有利平衡。
• 作者提供 NDT-LIME 的开源代码，便于复现与进一步实验。