[论文解读] Detecting and Explaining Drifts in Yearly Grant Applications

Stephen Pauwels, Toon Calders|arXiv (Cornell University)|Sep 15, 2018

Data Stream Mining Techniques参考文献 10被引用 5

一句话总结

该论文提出了一种与模型无关的、可解释的方法，通过可分解贝叶斯网络的概率评分，检测并诊断多变量业务流程日志中的概念漂移。该方法无需人工特征选择，即可在欧盟资助申请数据中识别跨年度的漂移，通过属性级分数分解实现根本原因分析，并成功检测出年度监管变更，且可视化结果具有可解释性。

ABSTRACT

During the lifetime of a Business Process changes can be made to the workflow, the required resources, required documents, . . . . Different traces from the same Business Process within a single log file can thus differ substantially due to these changes. We propose a method that is able to detect concept drift in multivariate log files with a dozen attributes. We test our approach on the BPI Challenge 2018 data con- sisting of applications for EU direct payment from farmers in Germany where we use it to detect Concept Drift. In contrast to other methods our algorithm does not require the manual selection of the features used to detect drift. Our method first creates a model that captures the re- lations between attributes and between events of different time steps. This model is then used to score every event and trace. These scores can be used to detect outlying cases and concept drift. Thanks to the decomposability of the score we are able to perform detailed root-cause analysis.

研究动机与目标

• 在无需手动特征选择的情况下，检测多变量业务流程日志中的概念漂移。
• 通过将异常分数分解为属性级贡献，实现对漂移的根本原因分析。
• 通过直观的可视化工具，支持技术与非技术用户理解漂移和偏差模式。
• 在真实世界中演化的BPI Challenge 2018过程数据上评估该方法，该数据代表了年度监管变更。
• 探究流程行为的差异是源于跨年度的漂移，还是源于部门间的差异。

提出的方法

• 从训练数据构建贝叶斯网络模型，以捕捉属性之间的依赖关系及时间事件模式。
• 基于属性值、条件概率和功能依赖关系，为每个事件和轨迹分配综合评分。
• 利用分数分解技术隔离单个属性的贡献，实现细粒度的偏差分析。
• 应用轨迹评分图和漂移图检测日志中的变化点，并通过可视化聚类识别不同的流程状态。
• 使用属性密度图比较各时间段内预期与实际的属性值，突出显示异常属性。
• 通过比较不同年份的模型评分并识别属性分布的变化（如文档类型、子流程），验证漂移检测结果。

实验结果

研究问题

• RQ1 如何在不依赖手动特征工程的情况下检测业务流程日志中的概念漂移？
• RQ2 在BPI Challenge 2018数据集中，连续年份间流程行为的差异由何原因导致？
• RQ3 该模型的可解释评分机制能否识别出导致检测到漂移的具体属性？
• RQ4 部门间的流程执行是否存在可检测的差异？这些差异是否与漂移相关？
• RQ5 可视化工具如何支持非专家用户理解并诊断流程漂移？

主要发现

• 该方法成功检测到BPI Challenge 2018数据集中与年度监管变更相对应的漂移，漂移点与已知的年份边界一致。
• 属性密度图显示，文档类型和子流程的变化是导致跨年度漂移的主要驱动因素。
• 被识别为异常值的轨迹具有面积和number_parcels均为零的特征，其评分显著偏离预期值。
• 该模型的可分解评分机制能够精确定位到特定属性（如area）的偏差，而无需重新处理完整日志。
• 除标准ID属性的差异外，各部门之间未发现显著差异，表明各部门流程执行具有一致性。
• 通过隔离属性级贡献，该方法实现了有效的根本原因分析，凸显了可解释评分在漂移检测中的价值。