[论文解读] All That Glitters Is Not Gold: Towards Process Discovery Techniques with Guarantees

Jan Martijn E. M. van der Werf, Artem Polyvyanyy+3 more|arXiv (Cornell University)|Dec 23, 2020

Business Process Modeling and Analysis参考文献 28被引用 8

一句话总结

本文提出一个框架，以确保流程发现算法能从更高品质的事件日志中生成更优的模型，引入了用于日志质量的统计度量和用于模型质量的合规性检查。研究指出，现有算法无法保证这一直观关系，并通过四个具有形式化属性的设计阶段，建立输入-输出质量保证，推动了流程发现技术的成熟。

ABSTRACT

The aim of a process discovery algorithm is to construct from event data a process model that describes the underlying, real-world process well. Intuitively, the better the quality of the event data, the better the quality of the model that is discovered. However, existing process discovery algorithms do not guarantee this relationship. We demonstrate this by using a range of quality measures for both event data and discovered process models. This paper is a call to the community of IS engineers to complement their process discovery algorithms with properties that relate qualities of their inputs to those of their outputs. To this end, we distinguish four incremental stages for the development of such algorithms, along with concrete guidelines for the formulation of relevant properties and experimental validation. We will also use these stages to reflect on the state of the art, which shows the need to move forward in our thinking about algorithmic process discovery.

研究动机与目标

• 解决现有流程发现算法中缺乏将输入事件日志质量与输出流程模型质量相联系的形式化保证的问题。
• 提出标准化、基于统计的度量方法，用于评估事件日志质量，无论是否存在已知的真实流程。
• 通过可定义的算法属性，建立输入日志质量与输出模型质量之间的形式化关系。
• 提出一个四阶段框架，用于设计具有可验证质量保证的流程发现算法。
• 鼓励流程挖掘社区采用形式化、基于统计的验证方法，而非仅依赖于有限数据集上的基准测试。

提出的方法

• 提出统计采样技术，在未知真实流程时估计事件日志质量，利用代表性样本推断日志特征。
• 采用标准的合规性检查度量——精确率、召回率和拟合度——作为评估发现流程模型质量的指标。
• 引入一个形式化框架，定义连接输入日志质量与输出模型质量的属性，如单调性或统计关联性。
• 概述流程发现算法的四个渐进式设计阶段，每个阶段的质量保证和验证要求逐步提高。
• 通过实证评估表明，现有算法可能从更高品质日志中生成更差的模型，违背直观预期。
• 应用既有的合规性度量属性（例如，来自 [28, 29, 24]）以确保模型质量评估的一致性和正确性。

实验结果

研究问题

• RQ1 能否证明现有流程发现算法违反了‘更高品质输入日志应产生更高品质输出模型’这一直观预期？
• RQ2 在未知真实流程的情况下，可使用哪些统计度量客观评估事件日志质量？
• RQ3 如何定义形式化属性，以保证更高品质的输入日志能导致更高品质的输出模型？
• RQ4 何种系统化框架可指导开发具有可验证质量保证的流程发现算法？
• RQ5 如何利用采样技术并非为了提升模型质量，而是用于评估算法评估中的输入日志质量？

主要发现

• 实证证据表明，现有流程发现算法可能从较低品质事件日志中生成比从更高品质日志中更优的模型，违反了预期的输入-输出质量关系。
• 所提出的统计采样方法即使在无法访问真实流程的情况下，也能通过代表性样本和推断统计，实现对事件日志质量的可靠估计。
• 合规性检查度量如精确率、召回率和拟合度满足既定的理想属性，适用于在形式化框架中评估模型质量。
• 用于算法设计的四阶段框架逐步强化质量保证，从基本正确性到对输入-输出质量依赖关系的形式化统计验证。
• 当前流程挖掘基准测试不足，因其未验证算法是否确实能从更好日志中生成更好模型，凸显了评估方法论中的关键缺口。
• 本文确立了形式化保证（如日志与模型质量之间的单调性或统计关联性）对下一代流程发现算法而言是必要的。