[论文解读] An Interdisciplinary Comparison of Sequence Modeling Methods for Next-Element Prediction

Niek Tax, Irene Teinemaa+1 more|arXiv (Cornell University)|Oct 31, 2018

Business Process Modeling and Analysis被引用 5

一句话总结

本文提出一个跨学科基准，比较机器学习、语法推理和流程挖掘领域在下一元素预测任务中序列建模技术的表现。在四个真实世界数据集上评估了概率模型，发现尽管流程挖掘和语法推理方法注重人类可解释性，黑箱机器学习方法（如RNNs、LSTMs）在预测准确率上仍显著优于这些可解释模型。

ABSTRACT

Data of sequential nature arise in many application domains in forms of, e.g. textual data, DNA sequences, and software execution traces. Different research disciplines have developed methods to learn sequence models from such datasets: (i) in the machine learning field methods such as (hidden) Markov models and recurrent neural networks have been developed and successfully applied to a wide-range of tasks, (ii) in process mining process discovery techniques aim to generate human-interpretable descriptive models, and (iii) in the grammar inference field the focus is on finding descriptive models in the form of formal grammars. Despite their different focuses, these fields share a common goal - learning a model that accurately describes the behavior in the underlying data. Those sequence models are generative, i.e, they can predict what elements are likely to occur after a given unfinished sequence. So far, these fields have developed mainly in isolation from each other and no comparison exists. This paper presents an interdisciplinary experimental evaluation that compares sequence modeling techniques on the task of next-element prediction on four real-life sequence datasets. The results indicate that machine learning techniques that generally have no aim at interpretability in terms of accuracy outperform techniques from the process mining and grammar inference fields that aim to yield interpretable models.

研究动机与目标

• 通过促进机器学习、语法推理和流程挖掘领域之间跨学科的比较，弥合这些孤立研究社区之间的差距。
• 评估来自不同学科的序列模型在共同任务——输出完整概率分布的下一元素预测——中的预测性能。
• 评估流程挖掘和语法推理中的可解释模型在序列预测中是否能达到黑箱机器学习模型的准确率水平。
• 探究利用流程挖掘发现的Petri网作为生成式概率序列模型的可行性。

提出的方法

• 通过两种方法——均匀分布（基于可视化结构）和经验分布（从训练日志中优化）——将流程挖掘技术改编为生成概率序列模型。
• 将来自三个领域（如RNNs、LSTMs、HMMs）的序列建模方法，以及语法推理（概率上下文无关文法）和流程挖掘（Petri网）的方法，统一映射到一个共同的下一元素预测框架中。
• 使用四个真实世界数据集（涵盖文本、DNA、软件执行轨迹和业务流程）来评估模型性能。
• 使用对数似然和准确率指标评估模型，重点关注对下一元素的完整概率分布，而不仅仅是最可能的预测结果。
• 实现概率前缀对齐，以在流程模型的每个标记处推断下一元素的类别概率分布。
• 通过使用相同任务、指标和数据集，实现跨领域的标准化评估，以确保公平比较。

实验结果

研究问题

• RQ1 在下一元素预测任务中，基于机器学习的序列模型与流程挖掘和语法推理中的可解释模型相比，其预测准确率如何？
• RQ2 传统上用于流程发现的流程挖掘技术，能否被有效重用于生成概率序列模型？
• RQ3 语法推理和流程挖掘中的可解释模型在多大程度上能达到与黑箱机器学习模型相当的预测性能？
• RQ4 在序列建模任务中，模型可解释性对预测准确率有何影响？

主要发现

• 在所有四个数据集上，基于机器学习的模型（尤其是RNNs和LSTMs）的预测准确率显著高于语法推理和流程挖掘模型。
• 流程挖掘中基于经验分布的方法优于均匀分布方法，表明基于训练数据的概率估计能提升预测质量。
• 尽管注重可解释性，流程挖掘和语法推理模型的对数似然得分仍低于机器学习模型，表明其在未见序列上的泛化能力较弱。
• 在复杂、长尾分布的序列（如软件执行轨迹和DNA序列）中，性能差距最为显著，机器学习模型对罕见转移的适应能力更强。
• 概率前缀对齐被证明对流程模型中的准确概率估计至关重要，凸显了非概率对齐方法的关键局限性。
• 结果表明，当预测准确率优先于可解释性时，基于机器学习的序列模型在下一元素预测任务中表现更优。