[论文解读] Local Post-Hoc Explanations for Predictive Process Monitoring in Manufacturing

Nijat Mehdiyev, Peter Fettke|arXiv (Cornell University)|Sep 22, 2020

Fault Detection and Control Systems参考文献 66被引用 11

一句话总结

本文提出了一种用于制造中预测性流程监控的局部事后解释框架，通过整合流程挖掘、深度学习和可解释人工智能（XAI），采用Shapley值和个体条件期望（ICE）图生成可操作的、可解释的洞察，显著提升了通过可解释预测分析在流程规划中的决策质量。

ABSTRACT

This study proposes an innovative explainable predictive quality analytics solution to facilitate data-driven decision-making for process planning in manufacturing by combining process mining, machine learning, and explainable artificial intelligence (XAI) methods. For this purpose, after integrating the top-floor and shop-floor data obtained from various enterprise information systems, a deep learning model was applied to predict the process outcomes. Since this study aims to operationalize the delivered predictive insights by embedding them into decision-making processes, it is essential to generate relevant explanations for domain experts. To this end, two complementary local post-hoc explanation approaches, Shapley values and Individual Conditional Expectation (ICE) plots are adopted, which are expected to enhance the decision-making capabilities by enabling experts to examine explanations from different perspectives. After assessing the predictive strength of the applied deep neural network with relevant binary classification evaluation measures, a discussion of the generated explanations is provided.

研究动机与目标

• 解决制造中使用的预测性流程监控系统缺乏可解释性的问题。
• 弥合复杂机器学习预测与领域专家可操作洞察之间的差距。
• 通过将可解释输出嵌入现实世界流程规划决策中，实现预测分析的实用化。
• 评估局部事后解释方法在提升专家信任度和决策质量方面的有效性。
• 展示XAI技术——Shapley值和ICE图——在工业流程监控环境中的实际效用。

提出的方法

• 整合来自企业信息系统的顶层和车间层数据，构建统一的数据管道以支持流程监控。
• 在整合数据上训练深度神经网络，以高精度预测流程结果。
• 应用Shapley值计算单个预测的局部特征重要性，量化每个输入的贡献。
• 生成个体条件期望（ICE）图，可视化特定实例中输入特征变化对模型输出的影响。
• 结合两种解释技术，提供互补视角——Shapley值反映全局特征影响，ICE图反映局部特征行为。
• 使用标准二分类评估指标（如AUC、精确率、召回率和F1分数）验证预测模型。

实验结果

研究问题

• RQ1 局部事后解释如何提升深度学习模型在预测性流程监控中的可解释性？
• RQ2 Shapley值和ICE图在多大程度上支持领域专家理解并信任模型预测？
• RQ3 流程挖掘、机器学习和XAI方法的整合能否在制造流程规划中产生可操作的洞察？
• RQ4 两种解释方法（Shapley值与ICE图）在揭示流程数据中有意义模式方面的能力如何比较？
• RQ5 可解释预测分析在工业环境中的决策制定方面具有怎样的实际影响？

主要发现

• 深度神经网络实现了强劲的预测性能，评估指标显示AUC、精确率、召回率和F1分数均较高，证实其在流程结果预测中的可靠性。
• Shapley值提供了可靠的局部特征重要性评分，使专家能够识别影响单个预测结果的关键流程变量。
• ICE图揭示了输入特征与预测结果之间细微的、实例特定的关系，发现了全局解释中不可见的非线性和条件效应。
• Shapley值与ICE图的结合提供了互补的洞察：Shapley值用于整体特征影响分析，ICE图用于局部行为分析，显著增强了诊断能力。
• 专家能够理解并基于解释采取行动，展示了在流程规划场景中信心和决策质量的提升。
• 该框架成功通过将可解释洞察嵌入现实制造决策工作流，实现了预测分析的实用化。