[论文解读] Beyond Rule-based Named Entity Recognition and Relation Extraction for Process Model Generation from Natural Language Text

Julian Neuberger, Lars Ackermann+1 more|arXiv (Cornell University)|May 6, 2023

Business Process Modeling and Analysis参考文献 23被引用 4

一句话总结

本文提出了一种数据驱动的端到端流程，用于从自然语言自动生成业务流程模型，以梯度提升关系抽取和预训练共指消解替代基于规则的方法。通过为PET数据集添加实体身份标注，证明了机器学习模型在性能上可与或优于基于规则的方法，尤其在结合改进的共指消解时表现更优。

ABSTRACT

Process-aware information systems offer extensive advantages to companies, facilitating planning, operations, and optimization of day-to-day business activities. However, the time-consuming but required step of designing formal business process models often hampers the potential of these systems. To overcome this challenge, automated generation of business process models from natural language text has emerged as a promising approach to expedite this step. Generally two crucial subtasks have to be solved: extracting process-relevant information from natural language and creating the actual model. Approaches towards the first subtask are rule based methods, highly optimized for specific domains, but hard to adapt to related applications. To solve this issue, we present an extension to an existing pipeline, to make it entirely data driven. We demonstrate the competitiveness of our improved pipeline, which not only eliminates the substantial overhead associated with feature engineering and rule definition, but also enables adaptation to different datasets, entity and relation types, and new domains. Additionally, the largest available dataset (PET) for the first subtask, contains no information about linguistic references between mentions of entities in the process description. Yet, the resolution of these mentions into a single visual element is essential for high quality process models. We propose an extension to the PET dataset that incorporates information about linguistic references and a corresponding method for resolving them. Finally, we provide a detailed analysis of the inherent challenges in the dataset at hand.

研究动机与目标

• 解决基于规则的命名实体识别（NER）和关系抽取（RE）方法的局限性，这些方法需要大量人工投入，且难以在不同领域间迁移。
• 通过解析同一流程元素提及之间的语言指代（例如 'a claim' 和 'it'），提升流程模型生成质量，确保正确的数据流与参与者流。
• 证明在小样本数据集（如PET）上，机器学习模型可实现与基于规则方法相当或更优的性能，减少对手工规则和特征工程的依赖。
• 扩展PET数据集，增加共指标注，以支持在流程信息抽取背景下对实体身份消解的评估。
• 研究语言变体和关系参数间距离对关系抽取性能的影响，识别业务流程建模中低资源NLP的关键挑战。

提出的方法

• 用在PET数据集上训练的梯度提升机器学习方法（BoostRelEx）替代基于规则的NER和RE，以提升泛化能力并减少人工规则工程。
• 引入在领域内数据上微调的预训练神经共指消解模型，将提及（如 'it', 'the claim'）解析为单一实体，确保流程模型中正确的数据流。
• 通过标注同一实体不同提及之间的语言指代关系，增强PET数据集，使共指消解在流程建模背景下的评估成为可能。
• 采用联合训练策略，同步进行提及检测、关系抽取和共指消解，以减轻流水线各阶段间的误差传播。
• 应用逻辑回归分析关系参数间距离（以词符计数）与预测正确性之间的相关性，识别性能瓶颈。
• 将所提方法与基于规则的基线（RuleRelEx）及当前最先进的NLP模型（如Jerex）进行基准对比，使用micro-F1和置信区间评估性能。

Fig. 1 : Example for differences between information extraction phase with and without resolving process element identities. Resolving process element identity from their mentions (right) allows generation of correct data flow, without (left) data flow is disjointed.

实验结果

研究问题

• RQ1 对于小样本数据集（如PET），机器学习模型能否在NER和关系抽取中实现与基于规则方法相当或更优的精确率和召回率？
• RQ2 预训练共指消解模型能否在解析流程元素提及之间的语言指代时，优于简单的词匹配基线？
• RQ3 在相同小样本数据集（PET）上训练时，深度学习方法能否实现与基于规则系统及表达能力较弱模型相当的性能？
• RQ4 在流程建模背景下，语言变体和关系参数间距离如何影响关系抽取模型的性能？
• RQ5 早期流水线阶段（如NER）的错误传播在多大程度上会降低最终流程模型的质量？联合建模能否缓解此问题？

主要发现

• 梯度提升关系抽取模型（BoostRelEx）在大多数关系类型上的F1分数优于基于规则的方法（RuleRelEx），尤其在'Further Specification'关系上F1达到0.93。
• 对于长距离关系，RuleRelEx比BoostRelEx更具鲁棒性，特别是在'Same Gateway'关系上，RuleRelEx在长达32个词符的距离内保持准确率，而BoostRelEx在超过15个词符后性能显著下降。
• 逻辑回归分析显示，'Further Specification'关系的参数距离与预测正确性之间无显著相关性，但置信区间较宽，提示在更多数据下可能存在敏感性。
• 共指消解至关重要：若无共指消解，流程模型会生成分离的数据流（如两个独立的'claim'对象），导致流程语义错误。
• 错误传播现象明显：实体提及检测或关系分类中的错误会在下游模型生成中被放大，凸显联合建模的必要性。
• 尽管Jerex（最先进的NLP模型）因数据稀缺在PET上表现欠佳，但经领域特定微调和更大数据集后，其未来应用潜力仍很强。

Fig. 2 : Outline of our proposed extended extraction pipeline.