[论文解读] Memory-Augmented Neural Networks for Predictive Process Analytics

Asjad Khan, Hung Lê+5 more|arXiv (Cornell University)|Feb 3, 2018

Business Process Modeling and Analysis参考文献 12被引用 16

一句话总结

本论文提出了一种增强双控制器与写保护内存策略的记忆增强神经网络（MANN）框架，以提升预测性流程分析性能。在真实世界数据集上，该方法在下一活动预测、完成时间预测和后缀预测任务中均达到最先进水平，展现出作为预测性流程推荐引擎的强大潜力。

ABSTRACT

Process analytics involves a sophisticated layer of data analytics built over the traditional notion of process mining. The flexible execution of business process instances involves multiple critical decisions including what task to perform next and what resources to allocate to a task. In this paper, we explore the application of deep learning techniques for solving various process analytics related problems. Based on recent advances in the field we specifically look at memory-augmented neural networks (MANN)s and adapt the latest model to date, namely the Differential Neural Computer. We introduce two modifications to account for a variety of tasks in predictive process analytics: (i) separating the encoding phase and decoding phase, resulting dual controllers, one for each phase; (ii) implementing a write-protected policy for the memory during the decoding phase. We demonstrate the feasibility and usefulness of our approach by solving a number of common process analytics tasks such as next activity prediction, time to completion and suffix prediction. We also introduce the notion of MANN based process analytics recommendation machinery that once deployed can serve as an effective business process recommendation engine enabling organizations to answer various prescriptive process analytics related questions.Using real-world datasets, we benchmark our results against those obtained from the state-of-art methods. We show that MANNs based process analytics methods can acheive state-of-the-art performance and have a lot of value to offer for enterprise specific process anlaytics applications.

研究动机与目标

• 通过整合深度学习以提升预测与处方分析的准确性，解决传统流程挖掘的局限性。
• 克服建模具有长期依赖关系与可变执行路径的复杂动态业务流程的挑战。
• 开发一种灵活且可扩展的框架，能够处理多样化的预测性流程分析任务，如下一活动预测与完成时间预测。
• 引入一种支持外部记忆推理的记忆增强架构，以提升决策能力。
• 通过基于MANN的推理实现智能推荐引擎的部署，助力企业流程优化。

提出的方法

• 通过引入独立的编码与解码控制器，将最先进的MANN——微分神经计算机（DNC）适配于流程分析任务。
• 将记忆访问机制解耦为独立阶段：编码阶段用于学习流程表示，解码阶段用于预测。
• 在解码阶段实施写保护内存策略，以保留已学习的表示，防止推理过程中发生干扰。
• 利用记忆读写操作存储与检索流程状态信息，实现对活动与资源序列的推理。
• 在事件日志上端到端训练模型，以同时优化多个预测任务。
• 采用基于注意力的记忆寻址机制，在预测过程中动态聚焦于相关的历史流程状态。

实验结果

研究问题

• RQ1 记忆增强神经网络能否有效建模业务流程执行日志中的长期依赖关系？
• RQ2 将编码与解码控制器分离在预测性流程分析任务中在多大程度上提升了性能？
• RQ3 在解码阶段采用写保护内存策略在多大程度上增强了预测的稳定性与准确性？
• RQ4 所提出的MANN框架是否能在多个流程分析任务中实现最先进性能？
• RQ5 该框架作为实时业务流程推荐引擎的基础，其有效性如何？

主要发现

• 所提出的MANN方法在下一活动预测、完成时间预测与后缀预测任务中均达到最先进性能。
• 编码与解码控制器的分离通过将表示学习与生成过程隔离，提升了模型稳定性与预测准确性。
• 在解码阶段采用写保护内存策略显著减少了内存干扰，并增强了在多样化流程实例间的泛化能力。
• 该框架在真实世界数据集上展现出强大的泛化能力，在多种评估场景中优于现有最先进方法。
• 该架构作为处方性流程推荐引擎的基础具有显著有效性，能够回答复杂的业务流程优化问题。
• 模型通过长序列与外部记忆的推理能力，能够稳健处理可变且复杂的流程流。