[论文解读] An Investigation of Interpretability Techniques for Deep Learning in Predictive Process Analytics

Catarina Moreira, Renuka Sindhgatta+3 more|arXiv (Cornell University)|Feb 21, 2020

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文研究了在真实世界癌症患者医疗事件日志的预测流程分析中，深度学习与随机森林模型的可解释性技术。通过应用自编码器从深度神经网络隐藏层中提取非线性表征，并使用LIME对随机森林进行局部代理解释，研究结果表明，两种方法均能提升模型可解释性——使临床医生能够理解特征影响并识别与癌症相关的模式，其中LIME提供更清晰的局部洞察，而自编码器则揭示了与癌症类型相关的非线性聚类。

ABSTRACT

This paper explores interpretability techniques for two of the most successful learning algorithms in medical decision-making literature: deep neural networks and random forests. We applied these algorithms in a real-world medical dataset containing information about patients with cancer, where we learn models that try to predict the type of cancer of the patient, given their set of medical activity records. We explored different algorithms based on neural network architectures using long short term deep neural networks, and random forests. Since there is a growing need to provide decision-makers understandings about the logic of predictions of black boxes, we also explored different techniques that provide interpretations for these classifiers. In one of the techniques, we intercepted some hidden layers of these neural networks and used autoencoders in order to learn what is the representation of the input in the hidden layers. In another, we investigated an interpretable model locally around the random forest's prediction. Results show learning an interpretable model locally around the model's prediction leads to a higher understanding of why the algorithm is making some decision. Use of local and linear model helps identify the features used in prediction of a specific instance or data point. We see certain distinct features used for predictions that provide useful insights about the type of cancer, along with features that do not generalize well. In addition, the structured deep learning approach using autoencoders provided meaningful prediction insights, which resulted in the identification of nonlinear clusters correspondent to the patients' different types of cancer.

研究动机与目标

• 为解决医疗决策中深度学习模型对可解释性的关键需求，因为高精度不足以在缺乏可解释性的情况下被采纳。
• 评估自编码器能否从深度神经网络隐藏层中提取有意义的非线性表征，以增进对预测结果的理解。
• 评估LIME作为局部、模型无关的解释方法，在解释随机森林对患者医疗事件日志的个体预测时的有效性。
• 识别哪些临床特征对特定癌症类型具有持续预测能力，哪些不具备泛化性或相关性。
• 为决策者提供对黑箱模型行为的可解释洞察，提升信任度与临床实用性。

提出的方法

• 在来自荷兰一家医院的真实世界医疗事件日志数据集（包含患者记录与癌症类型）上应用长短期记忆（LSTM）网络与随机森林模型。
• 截取深度神经网络的隐藏层，并使用自编码器学习输入数据的压缩非线性表征，从而发现与癌症类型相对应的非线性聚类。
• 采用LIME框架为随机森林的单个预测生成局部线性代理模型，解释每个实例的特征贡献。
• 通过聚合多个实例的局部解释构建全局解释，使用覆盖函数以最大化特征重要性与泛化能力。
• 使用基于扰动的采样方法在每个实例周围生成局部数据点，使LIME能够通过局部模型拟合估算特征重要性。
• 使用标准指标（如准确率）评估模型性能，并辅以可解释性指标，以评估对预测逻辑的理解程度。

实验结果

研究问题

• RQ1 自编码器能否有效从深度神经网络隐藏层中提取有意义的非线性表征，以提升预测流程分析中的可解释性？
• RQ2 与全局模型分析相比，使用LIME作为局部代理模型是否能为随机森林的个体预测提供更具可操作性与可理解性的洞察？
• RQ3 哪些临床特征（如年龄、治疗类型或特定医疗活动）对特定癌症类型具有持续预测能力，哪些不具备泛化性？
• RQ4 自编码器潜在空间中的非线性聚类结构如何与医疗事件日志中已知的癌症亚型相对应？
• RQ5 与仅依赖模型准确率相比，局部解释在多大程度上提升了决策者对模型预测的理解？

主要发现

• 基于LIME的局部代理模型通过清晰识别影响每个患者实例预测的具体特征（如年龄与治疗类型），提供了更高的可解释性。
• 基于自编码器的结构化深度学习方法在潜在空间中揭示了与不同癌症类型相对应的显著非线性聚类，为模型行为与潜在误分类提供了洞察。
• 诸如“会诊”和“妇产科门诊”等特征在预测中频繁使用，但其泛化能力较差，表明其预测能力有限。
• 通过聚合多个局部实例构建的全局解释表明，尽管部分特征（如年龄、治疗）始终重要，但其他特征不具备泛化性，有助于特征选择与模型优化。
• 自编码器与LIME的结合提供了互补的可解释性：自编码器揭示了全局非线性数据结构，而LIME则为个体决策提供了局部特征级解释。
• 本研究证明，可解释性技术显著增强了临床预测分析中对黑箱模型的信任与理解，且未损害预测性能。