[論文レビュー] Just Tell Me: Prompt Engineering in Business Process Management

Kiran Busch, Alexander Rochlitzer+2 more|arXiv (Cornell University)|Apr 14, 2023

Business Process Modeling and Analysis被引用数 6

ひとこと要約

本稿では、ビジネスプロセス管理（BPM）におけるファインチューニングの代替手段としてプロンプト工学を提唱し、タスク固有のデータが不要なゼロショットまたはフェイントショットでの大規模言語モデル（LM）のデプロイを可能にしている。研究の方向性として、プロンプト設計、モデル選定、出力処理、評価といった主要な課題を特定し、プロンプト工学が、プロセス抽出やモデル補完といったBPMタスクにおいて、最小限のデータとモデルのファインチューニングなしに効果的に機能することを示している。

ABSTRACT

GPT-3 and several other language models (LMs) can effectively address various natural language processing (NLP) tasks, including machine translation and text summarization. Recently, they have also been successfully employed in the business process management (BPM) domain, e.g., for predictive process monitoring and process extraction from text. This, however, typically requires fine-tuning the employed LM, which, among others, necessitates large amounts of suitable training data. A possible solution to this problem is the use of prompt engineering, which leverages pre-trained LMs without fine-tuning them. Recognizing this, we argue that prompt engineering can help bring the capabilities of LMs to BPM research. We use this position paper to develop a research agenda for the use of prompt engineering for BPM research by identifying the associated potentials and challenges.

研究の動機と目的

• BPMにおけるラベル付きデータの限界に応えるために、大規模言語モデルのファインチューニングの代替手段としてプロンプト工学を推進すること。
• プロンプト工学をBPMタスクに適用する際の主な研究的課題を特定すること、これにはプロンプト設計、モデル選定、出力処理が含まれる。
• 大規模でタスク固有のデータセットや専用のファインチューニングに依存することを減らし、事前学習済みLMを用いたコンテキスト内学習を活用すること。
• プロセスモデルやイベントログといったBPM固有の表現に特化したプロンプトテンプレートの設計と評価の基盤を構築すること。
• 市販の言語モデルを活用して、NLPベースのソリューションの迅速なプロトタイピングとデプロイを可能にすることで、BPM分野におけるイノベーションを促進すること。

提案手法

• 推論時に自然言語プロンプトを用いて、事前学習済み言語モデルを変更せずに下流のBPMタスクを指定する。
• ゼロショットまたはフェイントショットプロンプティングを採用し、タスクの指示と、必要に応じて少数の例を含める。
• コンマや「then」などの構造的セパレータを用いて、イベントログやプロセスモデルなどのプロセス表現をプロンプトに統合し、文脈を維持する。
• コンテキスト内学習を適用して、少数の例やタスクの説明のみからLMが一般化できるようにし、事前学習済みの知識を活用する。
• プロセスエンティティの定義やモデリング制約といった、BPM固有の文脈を組み込んだプロンプトテンプレートを設計する。
• LMの自由形式出力を、プロセスモデルやアクティビティシーケンスといった構造的BPMアーティファクトに変換するための後処理ステップを実装する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングなしで、プロセス抽出やモデル補完といったBPMタスクに効果的にプロンプト工学を適用する方法は何か？
• RQ2 トークン長の制限とドメイン固有の文脈の必要性を考慮すると、BPMタスク用の効果的なプロンプトを設計する上で直面する主な課題は何か？
• RQ3 異なる事前学習済み言語モデル間でプロンプトの適合性はどの程度高く、モデルサイズの違いがBPM応用におけるプロンプトのパフォーマンスにどのように影響するか？
• RQ4 BPMタスクにおけるプロンプトテンプレートの比較と最適化に必要な体系的な評価フレームワークは何か？
• RQ5 LMの自然言語出力を有効なBPMアーティファクトに信頼性高く変換するための後処理ステップをどのように設計すべきか？

主な発見

• プロンプト工学により、ファインチューニングや大規模なラベル付きデータセットがなくても、BPMタスクにおける大規模言語モデルの有効なデプロイが可能になる。
• 適切に設計されたプロンプトを用いることで、事前学習済み言語モデルは、ゼロショット設定下でもプロセス抽出やモデル補完といったBPMタスクを実行できる。
• プロンプトのパフォーマンスはプロンプト設計に極めて敏感であり、わずかな変更が出力品質やタスクの正確性に顕著な影響を与える。
• 異なるLM間でのプロンプトの適合性は限定的であり、特にモデルサイズが異なる場合に顕著で、モデル固有のプロンプト工学の必要性が示唆される。
• LMの自由テキスト出力を構造的BPM表現に変換するには後処理が不可欠であり、このステップにはドメイン固有の論理と検証が必要である。
• LMのプロンプト語句に対する感受性が極めて高いことから、プロンプトテンプレートの体系的評価が不可欠であり、BPM固有のプロンプト設計ガイドラインの整備が求められる。