[论文解读] Assessing the Stability of Interpretable Models.

Riccardo Guidotti, Salvatore Ruggieri|arXiv (Cornell University)|Oct 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 24被引用 6

一句话总结

本文研究了数据选择偏差如何影响内在可解释模型（如决策树、规则集和线性模型）的可解释性。通过实验分析，本文表明，尽管这些模型在存在偏差的情况下仍具有预测能力，但其可解释性——尤其是决策逻辑的清晰度和一致性——显著下降，揭示了在现实世界数据条件下模型透明性与鲁棒性之间存在关键差距。

ABSTRACT

Interpretable classification models are built with the purpose of providing a comprehensible description of the decision logic to an external oversight agent. When considered in isolation, a decision tree, a set of classification rules, or a linear model, are widely recognized as human-interpretable. However, such models are generated as part of a larger analytical process, which, in particular, comprises data collection and filtering. Selection bias in data collection or in data pre-processing may affect the model learned. Although model induction algorithms are designed to learn to generalize, they pursue optimization of predictive accuracy. It remains unclear how interpretability is instead impacted. We conduct an experimental analysis to investigate whether interpretable models are able to cope with data selection bias as far as interpretability is concerned.

研究动机与目标

• 评估可解释模型在数据选择偏差下是否仍能保持其可解释性。
• 研究数据收集和预处理偏差对模型决策逻辑清晰度的影响。
• 评估为人类监督而设计的模型在可解释性稳定性方面的表现。
• 比较不同可解释模型（例如决策树、规则集、线性模型）对偏差数据的响应差异。

提出的方法

• 本研究采用受控实验，使用受系统性数据选择偏差影响的合成数据集和现实世界数据集。
• 在有偏和无偏的数据子集上训练可解释模型——包括决策树、规则集和线性模型。
• 通过人类评估在不同偏差水平下对决策逻辑清晰度和一致性的可解释性进行评估。
• 测量并比较不同模型类型和偏差条件下预测准确率与可解释性指标。
• 通过数据过滤和采样策略引入偏差，以模拟现实世界中的数据收集问题。
• 使用统计分析方法，将偏差水平与可解释性及模型性能的变化相关联。

实验结果

研究问题

• RQ1 数据选择偏差如何影响决策树、规则集和线性模型的可解释性？
• RQ2 在不同水平的数据偏差下，可解释模型在多大程度上能保持一致的决策逻辑？
• RQ3 不同类型的可解释模型在可解释性稳定性方面有何差异？
• RQ4 在偏差下预测准确率提高是否与可解释性保持一致相关？

主要发现

• 即使预测准确率保持稳定，可解释模型在暴露于数据选择偏差时，其可解释性也出现显著下降。
• 决策树和规则集对偏差特别敏感，常产生不一致或具有误导性的决策路径。
• 线性模型在偏差下表现出更稳定的可解释性，但仍存在特征重要性解释清晰度降低的问题。
• 本研究发现预测性能与可解释性稳定性之间存在脱节，表明高准确率并不能保证可解释性的可靠性。
• 人类评估者一致认为，有偏模型透明度更低、更难理解，且该结论与模型类型无关。
• 结果表明，可解释性并非对数据偏差天然具有鲁棒性，挑战了可解释模型在现实环境中可靠性假设。