[论文解读] Striking a new balance in accuracy and simplicity with the Probabilistic Inductive Miner

Dennis Brons, Roeland Scheepens+1 more|arXiv (Cornell University)|Sep 13, 2021

Business Process Modeling and Analysis参考文献 18被引用 11

一句话总结

概率归纳挖掘器（PIM）提出了一种新颖的过程发现算法，通过在轨迹频率上使用概率推理，选择仅包含XOR和AND网关的块结构模型，从而在模型准确性和简洁性之间取得平衡。PIM在精度方面优于最先进方法，复杂度更低，且在实际应用中因其清晰性和可信度而更受工业分析师青睐。

ABSTRACT

Numerous process discovery techniques exist for generating process models that describe recorded executions of business processes. The models are meant to generalize executions into human-understandable modeling patterns, notably parallelism, and enable rigorous analysis of process deviations. However, well-defined models with parallelism returned by existing techniques are often too complex or generalize the recorded behavior too strongly to be trusted in a practical business context. We bridge this gap by introducing the Probabilistic Inductive Miner (PIM) based on the Inductive Miner framework. PIM compares in each step the most probable operators and structures based on frequency information in the data, which results in block-structured models with significantly higher accuracy. All design choices in PIM are based on business context requirements obtained through a user study with industrial process mining experts. PIM is evaluated quantitatively and in an novel kind of empirical study comparing users' trust in discovered model structures. The evaluations show that PIM strikes a unique trade-off between model accuracy and model complexity, that is conclusively preferred by users over all state-of-the-art process discovery methods.

研究动机与目标

• 确定工业过程挖掘场景中模型拟合度、精确度和简洁性之间的首选权衡。
• 解决现有过程发现技术要么过度泛化（精确度低），要么产生过于复杂的模型（简洁性低）的空白。
• 开发一种满足工业界对可信度、清晰度和基于证据建模要求的过程发现算法。
• 评估相较于现有技术，高精确度与低复杂度的模型是否更受从业者青睐。

提出的方法

• PIM扩展了归纳挖掘器框架，确保仅生成包含XOR和AND网关的块结构模型，以满足结构简洁性要求。
• 基于轨迹频率使用概率推理，确定每个递归步骤中最可能的过程操作符（如并行、循环等）。
• 该算法引入一种过滤机制，仅考虑最频繁的k个活动，并应用概率阈值以排除不频繁的行为。
• PIM整合了IMf（频率过滤）和IMc（概率建模）的原则，以平衡精确度与复杂度。
• 通过可配置参数控制模型复杂度，使分析人员能够在细节与简洁性之间进行权衡。
• 通过一项包含11名专业人士的用户研究进行实证评估，以评估模型的可信度和偏好度，参与者根据清晰度和基于证据的结构对模型进行评分。

实验结果

研究问题

• RQ1 工业过程挖掘专家在过程模型发现中，对拟合度、精确度和简洁性的平衡偏好如何？
• RQ2 归纳挖掘器框架的概率扩展是否能够生成既高度精确又简洁，同时保留在数据中足够证据的模型？
• RQ3 与IMf、SM及其他最先进技术相比，PIM发现的模型是否获得更高的用户信任度和偏好度？
• RQ4 用户在多大程度上认为PIM模型在数据中具有足够的证据支持，且是否信任反映实际行为模式的结构？

主要发现

• PIM在精确度方面显著优于IMf，F-score与SM相当，但模型的结构复杂度显著更低。
• 在实证评估中，对于3个真实数据集中的2个（Invoice和BPIC17 cp），参与者将PIM评为最佳模型，而RTFMP数据集则选择SM。
• 58.8%的模型偏好书面理由中，将简洁性、清晰度或可读性作为选择PIM而非其他模型的主要原因。
• 参与者始终更信任PIM模型，而非SM或IMf；他们很少批评PIM模型为过度泛化，但偶尔指出其遗漏了部分数据。
• 用户研究的热力图显示，PIM模型中被标记为“良好”（可信）的结构数量多于SM模型，表明其与数据中感知证据的对齐程度更强。
• 工业从业者确认，PIM在拟合度、精确度和简洁性三者的帕累托前沿上处于最理想的位置，是首选的权衡方案。