[论文解读] Just Tell Me: Prompt Engineering in Business Process Management

Kiran Busch, Alexander Rochlitzer+2 more|arXiv (Cornell University)|Apr 14, 2023

Business Process Modeling and Analysis被引用 6

一句话总结

本文主张将提示工程（prompt engineering）作为业务流程管理（BPM）中微调的可行替代方案，实现无需任务特定数据的零样本或少样本部署大型语言模型（LMs）。它提出了一项研究议程，识别出关键挑战——提示设计、模型选择、输出处理和评估——并证明提示工程可有效支持如流程提取和模型补全等BPM任务，且仅需极少数据且无需模型微调。

ABSTRACT

GPT-3 and several other language models (LMs) can effectively address various natural language processing (NLP) tasks, including machine translation and text summarization. Recently, they have also been successfully employed in the business process management (BPM) domain, e.g., for predictive process monitoring and process extraction from text. This, however, typically requires fine-tuning the employed LM, which, among others, necessitates large amounts of suitable training data. A possible solution to this problem is the use of prompt engineering, which leverages pre-trained LMs without fine-tuning them. Recognizing this, we argue that prompt engineering can help bring the capabilities of LMs to BPM research. We use this position paper to develop a research agenda for the use of prompt engineering for BPM research by identifying the associated potentials and challenges.

研究动机与目标

• 通过推广提示工程作为微调大型语言模型的替代方案，解决BPM中标签数据有限的挑战。
• 识别将提示工程应用于BPM任务的关键研究挑战，包括提示设计、模型选择和输出处理。
• 通过利用预训练LM的上下文学习，减少对大型、任务特定数据集和专门微调的依赖。
• 为系统化评估和设计针对BPM特定表示（如流程模型和事件日志）的提示模板奠定基础。
• 通过利用现成的自然语言模型，实现快速原型设计和部署，推动BPM领域的创新。

提出的方法

• 在推理时使用自然语言提示，指定下游BPM任务，而无需修改预训练语言模型。
• 采用零样本或少样本提示，其中提示包含任务说明，可选地附带少量示例。
• 使用诸如逗号或“then”等结构化分隔符，将流程表示（如事件日志、流程模型）整合到提示中，以保持上下文连贯。
• 应用上下文学习，使LM能够仅从少量示例或任务描述中泛化，利用其预训练知识。
• 设计融合相关BPM特定上下文的提示模板，例如流程实体定义或建模约束。
• 实施后处理步骤，将LM的自由格式输出转换为结构化的BPM成果物，如流程模型或活动序列。

实验结果

研究问题

• RQ1 如何在不进行微调的情况下，有效将提示工程应用于BPM任务（如流程提取和模型补全）？
• RQ2 在令牌长度限制和需要领域特定上下文的条件下，设计有效提示的关键挑战是什么，尤其是针对BPM任务？
• RQ3 提示在不同预训练语言模型之间的可迁移性如何？模型规模对BPM应用中提示性能的影响如何？
• RQ4 需要何种系统化评估框架，以比较和优化BPM任务的提示模板？
• RQ5 如何设计后处理步骤，以可靠地将LM的自然语言输出转换为有效的BPM成果物？

主要发现

• 提示工程可在无需微调或大型标注数据集的情况下，有效部署大型语言模型于BPM任务中。
• 通过精心设计的提示，预训练语言模型即使在零样本设置下，也能执行BPM任务（如流程提取和模型补全）。
• 提示的性能对提示设计极为敏感，微小变化会显著影响输出质量和任务准确性。
• 提示在不同LM之间的可迁移性有限，尤其当模型规模不同时，表明需要针对特定模型进行提示工程。
• 后处理对将LM的自由文本输出转换为结构化BPM表示至关重要，且此步骤需要领域特定的逻辑和验证。
• 由于LM对提示措辞高度敏感，系统化评估提示模板至关重要，且亟需制定针对BPM特定场景的提示设计指南。