[论文解读] Evaluating Explainable Methods for Predictive Process Analytics: A Functionally-Grounded Approach

Mythreyi Velmurugan, Chun Ouyang+2 more|arXiv (Cornell University)|Dec 8, 2020

Business Process Modeling and Analysis被引用 4

一句话总结

本文提出基于功能的评估指标——保真度与稳定性，用于评估可解释人工智能方法（LIME 和 SHAP）在预测性流程分析中的表现。基于三个真实世界事件日志的 XGBoost 模型，研究发现两种方法在保真度方面表现相当，但整体忠实度较低，尤其是在单桶编码与聚合编码组合下，且前缀长度与解释质量之间无稳定关联，凸显了尽管黑盒模型性能强大，但在实际部署中仍面临挑战。

ABSTRACT

Predictive process analytics focuses on predicting the future states of running instances of a business process. While advanced machine learning techniques have been used to increase accuracy of predictions, the resulting predictive models lack transparency. Current explainable machine learning methods, such as LIME and SHAP, can be used to interpret black box models. However, it is unclear how fit for purpose these methods are in explaining process predictive models. In this paper, we draw on evaluation measures used in the field of explainable AI and propose functionally-grounded evaluation metrics for assessing explainable methods in predictive process analytics. We apply the proposed metrics to evaluate the performance of LIME and SHAP in interpreting process predictive models built on XGBoost, which has been shown to be relatively accurate in process predictions. We conduct the evaluation using three open source, real-world event logs and analyse the evaluation results to derive insights. The research contributes to understanding the trustworthiness of explainable methods for predictive process analytics as a fundamental and key step towards human user-oriented evaluation.

研究动机与目标

• 为解决预测性流程分析中可解释人工智能方法缺乏系统性评估的问题。
• 提出基于功能的评估指标——保真度与稳定性，以独立于人工评估的方式评估解释质量。
• 评估 LIME 和 SHAP 在解释基于 XGBoost 的预测模型时的表现，覆盖多种真实世界事件日志。
• 识别数据编码、分桶策略及前缀长度对解释质量的影响。
• 为可解释方法在流程预测场景中的可信度与实际局限性提供洞见。

提出的方法

• 提出基于功能的评估指标：解释保真度（解释反映黑盒模型的程度）与稳定性（特征重要性在扰动下的一致性）。
• 将 LIME 和 SHAP 作为事后解释方法，用于解释在三个真实世界事件日志（Production、Sepsis Cases 和 BPIC2012）上训练的 XGBoost 模型。
• 采用多种预处理配置：单桶分桶 vs. 前缀长度分桶，以及聚合编码 vs. 索引编码。
• 通过比较代理模型（LIME/SHAP）与原始黑盒模型在扰动实例上的预测结果来衡量保真度。
• 通过计算同一实例多次扰动下特征重要性排序的相似性来衡量稳定性。
• 采用系统化的实验设计，覆盖不同前缀长度与编码方法，以分析解释质量的趋势。

实验结果

研究问题

• RQ1 在真实世界流程预测任务中，LIME 和 SHAP 解释 XGBoost 模型时的保真度表现如何？
• RQ2 不同的编码与分桶策略对解释的稳定性与保真度有何影响？
• RQ3 前缀长度与解释质量（保真度或稳定性）之间是否存在一致关系？
• RQ4 数据集特征（如大小、稀疏性）如何影响解释质量？
• RQ5 当黑盒模型高度准确但复杂时，解释方法在多大程度上仍保持可靠性？

主要发现

• LIME 和 SHAP 在大多数配置下表现出相当的保真度，但整体忠实度较低，尤其在单桶分桶与聚合编码组合下。
• 单桶分桶与聚合编码的组合虽然最大化了黑盒模型的准确性，却导致解释的忠实度最低，表明准确性与可解释性之间存在权衡。
• 前缀长度与保真度之间无一致趋势，仅在 BPIC2012 数据集中观察到较长前缀与更高保真度相关，可能是因为在较长前缀下黑盒模型性能更好。
• 稳定性与保真度无直接相关性；稳定性差并不必然意味着保真度低，表明集成式解释选择方法可能缓解稳定性问题。
• 在 Sepsis Cases 数据集采用索引编码时，解释在决策边界附近（预测概率 ≈ 0.5）的忠实度更均匀，但在预测更自信时精确度下降，可能由于模型欠拟合与数据稀疏性所致。
• 结果表明，即使黑盒模型准确，解释方法也可能无法可靠反映其行为，若不进行进一步优化或方法选择，将限制其实际可用性。