[论文解读] An empirical comparison of deep-neural-network architectures for next activity prediction using context-enriched process event logs

Sven Weinzierl, Sandra Zilker+6 more|arXiv (Cornell University)|May 3, 2020

Business Process Modeling and Analysis参考文献 51被引用 16

一句话总结

本论文实证评估了三种深度神经网络（DNN）架构——MLP、LSTM 和 CNN——与五种编码技术（二进制、序数、独热编码、哈希编码和 word2vec）在五个真实场景下、上下文丰富的流程事件日志中的下一项活动预测表现。主要贡献在于识别出 DNN 架构选择和属性编码方式对预测性能有显著影响，其中 LSTM 与 word2vec 通常表现最佳，尤其在类别不平衡严重和实例/变体比例较低的情况下。

ABSTRACT

Researchers have proposed a variety of predictive business process monitoring (PBPM) techniques aiming to predict future process behaviour during the process execution. Especially, techniques for the next activity prediction anticipate great potential in improving operational business processes. To gain more accurate predictions, a plethora of these techniques rely on deep neural networks (DNNs) and consider information about the context, in which the process is running. However, an in-depth comparison of such techniques is missing in the PBPM literature, which prevents researchers and practitioners from selecting the best solution for a given event log. To remedy this problem, we empirically evaluate the predictive quality of three promising DNN architectures, combined with five proven encoding techniques and based on five context-enriched real-life event logs. We provide four findings that can support researchers and practitioners in designing novel PBPM techniques for predicting the next activities.

研究动机与目标

• 为解决在预测性业务流程监控（PBPM）中，针对下一项活动预测的深度神经网络（DNN）架构与编码技术之间缺乏全面的实证比较。
• 评估不同 DNN 架构（MLP、LSTM、CNN）与编码方法（二进制、序数、独热编码、哈希编码、word2vec）在真实场景下、上下文丰富的事件日志中的预测性能影响。
• 识别出在高挑战性条件（如类别不平衡和低实例/变体比例）下，能够实现最高预测准确率的 DNN 架构与编码技术组合。
• 为研究人员和实践者提供可操作的见解，以在实际业务流程中选择最优的 DNN 配置用于下一项活动预测。

提出的方法

• 本研究评估了三种 DNN 架构：多层感知机（MLP）、长短期记忆网络（LSTM）和卷积神经网络（CNN），其超参数均来自原始论文。
• 应用五种编码技术——二进制、序数、独热编码、哈希编码和 word2vec——将分类属性和上下文属性转换为密集向量表示，以输入 DNN 模型。
• 使用五个具有不同特征（如类别不平衡、实例/变体比例）的真实场景下、上下文丰富的事件日志作为评估数据集。
• 通过标准分类指标（包括准确率、F1 分数和 AUC-PR）衡量性能，重点关注 AUC-PR，因为日志中存在严重的类别不平衡。
• 通过比较不同 DNN 架构与编码技术组合下的模型性能，识别在各种数据条件下表现最优的组合。
• 进行统计分析，评估不同配置间性能差异的显著性，尤其关注实例/变体比例和类别分布等数据特征的影响。

实验结果

研究问题

• RQ1 在与上下文丰富的事件日志结合时，哪种深度神经网络架构（MLP、LSTM、CNN）在下一项活动预测中表现最优？
• RQ2 不同编码技术（二进制、序数、独热编码、哈希编码、word2vec）如何影响 DNN 在下一项活动预测任务中的预测质量？
• RQ3 数据特征（如类别不平衡和实例/变体比例）在多大程度上影响基于 DNN 的下一项活动预测模型的性能？
• RQ4 是否存在某些 DNN 架构与编码技术的组合，在多种真实事件日志中始终优于其他组合？

主要发现

• 在大多数事件日志中，LSTM 搭配 word2vec 编码实现了最高的预测性能，尤其在处理类别不平衡和低实例/变体比例方面表现突出。
• AUC-PR 指标显示，在实例/变体比例较低（1.40–2.84）的日志中性能显著更差，而在比例较高（8.26–20.27）的日志中表现更优，表明数据稀疏性限制了预测准确性。
• 在具有高类别不平衡（尤其是存在“正常路径”现象）的日志中，模型的 F1 分数和 AUC-PR 值始终偏低，凸显了类别不平衡在 PBPM 中带来的挑战。
• word2vec 在捕捉活动与上下文属性之间的语义关系方面优于其他编码技术，尤其在活动类别基数较高的日志中表现更优。
• LSTM 与 word2vec 的组合在复杂流程变体和高上下文多样性日志中，实现了精确率、召回率和 F1 分数的最佳平衡。
• 研究发现，与 LSTM 相比，MLP 和 CNN 架构在整体表现上通常较差，尤其在长流程或复杂流程轨迹以及高上下文依赖性的日志中。