[论文解读] Chit-Chat or Deep Talk: Prompt Engineering for Process Mining

Urszula Jessen, Michal Sroka+1 more|arXiv (Cornell University)|Jul 19, 2023

Business Process Modeling and Analysis被引用 8

一句话总结

本文提出一个框架，利用带有角色特定提示的大语言模型以及编排器来实现对过程挖掘数据的对话查询，并在 BPI Challenge 2019 数据集上用 GPT-3.5-turbo 与 GPT-4 评估其有效性。

ABSTRACT

This research investigates the application of Large Language Models (LLMs) to augment conversational agents in process mining, aiming to tackle its inherent complexity and diverse skill requirements. While LLM advancements present novel opportunities for conversational process mining, generating efficient outputs is still a hurdle. We propose an innovative approach that amend many issues in existing solutions, informed by prior research on Natural Language Processing (NLP) for conversational agents. Leveraging LLMs, our framework improves both accessibility and agent performance, as demonstrated by experiments on public question and data sets. Our research sets the stage for future explorations into LLMs' role in process mining and concludes with propositions for enhancing LLM memory, implementing real-time user testing, and examining diverse data sets.

研究动机与目标

• 通过对话代理实现对事件数据查询，使非专家也能使用，从而弥合过程挖掘的可用性差距。
• 开发一种架构，使用 LLM 模拟多种过程挖掘角色（分析师、数据工程师、领域专家）并编排提示。
• 在真实问题和数据集上评估所提方法的有效性，以发现优势与局限性。

提出的方法

• 提出一个通用的提示工程框架，将用户问题转化为针对过程事件日志的 SQL 查询。
• 引入一个编排器，通过嵌入（embeddings）重用类似的历史问题，在可能的情况下跳过重新计算。
• 推广多提示、基于角色的提示策略，以及一个包含对 SQL 执行错误反馈以细化查询的提示工作流。
• 使用 GPT-3.5-turbo 和 GPT-4 进行评估，基于 BPI Challenge 2019 数据集以及 Barbieri 等人提出的问题语料。
• 在完全正确/部分正确、理解/部分理解等维度对答案进行评估，采用人工评估标准。

Figure 1: Architecture of a conversational agent for process mining

实验结果

研究问题

• RQ1 LLMs 是否能够通过结构化、提示驱动的对话界面理解并回答过程挖掘问题？
• RQ2 通过编排角色特定提示和迭代的 SQL 查询，是否能提高过程挖掘查询答案的准确性和实用性？
• RQ3 在此环境下，模型类型（GPT-3.5-turbo vs GPT-4）与成本相比于准确性存在何种权衡？
• RQ4 基于嵌入的相似问题检索如何影响响应时间和成功率？

主要发现

• 在 77% 的实例中，LLMs 能完全或部分理解问题并勾勒出合适的解决方案。
• 在 68% 的案例中，模型给出正确或部分正确的答案。
• 表 1（结果对比）：Answered 285 (36%), Partially answered 254 (32%), Understood 155 (19%), Partially understood 459 (58%).
• GPT-4 通过少量示例学习在 GPT-3.5-Turbo 之外实现了更多案例的改进，尽管成本更高；GPT-3.5-Turbo 的零样本在 61 个案例（部分/完全改进）在错误驱动改正后有所提升，GPT-4 在少量示例模式下新增了 193 个部分回答和 178 个完全回答的案例。
• 表 2 显示按模型的零样本和少量样本性能：GPT-3.5 零样本 49 部分，少样本 12；GPT-4 零样本 0，少样本 193；总体上在少量样本模式下 GPT-4 更好。
• 研究突出了准确性与成本之间的权衡，总体实际成本约为 $60，覆盖约 800 个问题。

Figure 2: The general process of prompt engineering.