[论文解读] Explainable Predictive Process Monitoring: A User Evaluation

Williams Rizzi, Marco Comuzzi+5 more|arXiv (Cornell University)|Feb 15, 2022

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本研究通过以用户为中心的实验评估了可解释的预测性流程监控（PPM）在支持不同机器学习专业水平用户决策制定方面的作用。结果表明，尽管图表整体上易于理解且具有实用性，但机器学习专家能更深入地解读图表，却更倾向于采取保守策略；而非专家用户则认为图表更具可操作性，凸显了对交互功能（如过滤和假设分析）的需求，以提升所有用户群体的可用性。

ABSTRACT

Explainability is motivated by the lack of transparency of black-box Machine Learning approaches, which do not foster trust and acceptance of Machine Learning algorithms. This also happens in the Predictive Process Monitoring field, where predictions, obtained by applying Machine Learning techniques, need to be explained to users, so as to gain their trust and acceptance. In this work, we carry on a user evaluation on explanation approaches for Predictive Process Monitoring aiming at investigating whether and how the explanations provided (i) are understandable; (ii) are useful in decision making tasks;(iii) can be further improved for process analysts, with different Machine Learning expertise levels. The results of the user evaluation show that, although explanation plots are overall understandable and useful for decision making tasks for Business Process Management users -- with and without experience in Machine Learning -- differences exist in the comprehension and usage of different plots, as well as in the way users with different Machine Learning expertise understand and use them.

研究动机与目标

• 调查预测性流程监控中的解释图表是否对业务流程管理用户具有可理解性。
• 评估解释图表在真实PPM场景中的决策支持作用。
• 基于用户反馈，识别解释图表的改进方向，尤其关注交互性与清晰度。
• 比较具有与不具有机器学习专业知识的用户在理解与使用图表方面的差异。

提出的方法

• 对15名来自PPM领域的参与者（包括机器学习专家与非专家）开展了定性观察用户研究。
• 向参与者提供包含预测结果及对应解释图表（P1、P2、P3）的真实PPM场景。
• 使用三种类型的解释图表：全局特征重要性、局部特征贡献，以及具备交互功能的过滤/聚焦视图。
• 实现交互功能：悬停显示详细视图、聚焦视图突出显示特定特征，以及通过图例点击实现信息过滤。
• 通过理解性问题、决策任务和对图表的改进建议收集数据。
• 采用主题分析法分析回应，识别在理解、决策行为和可用性建议方面的模式。

实验结果

研究问题

• RQ1 RQ1：用户在预测性流程监控背景下如何理解解释图表？
• RQ2 RQ2：解释图表如何支持用户完成决策任务？
• RQ3 RQ3：如何基于用户反馈与专业水平改进解释图表？

主要发现

• 所有参与者，无论是否具备机器学习专业知识，普遍认为解释图表易于理解且对决策具有实用性。
• 机器学习专家对特征相关性的理解更深入，但由于缺乏因果证据，其建议更趋于保守。
• 非专家用户认为图表更具可操作性，更倾向于根据解释内容推荐流程变更。
• 参与者一致要求增加交互功能，如过滤、聚焦视图和假设分析，以提升可解释性。
• 最有效的图表结合了全局特征重要性与实例级别的局部解释，尤其在加入过滤功能与悬停详细信息后效果更佳。
• 专家与非专家对同一张图表的使用方式存在明显差异：专家质疑相关性的可靠性，而非专家则更信任相关性以支持实际决策。