[論文レビュー] Conversational Process Modeling: Can Generative AI Empower Domain Experts in Creating and Redesigning Process Models?

Nataliia Klievtsova, Janik-Vasily Benzin+3 more|arXiv (Cornell University)|Apr 19, 2023

Business Process Modeling and AnalysisBusiness, Management and Accounting被引用数 3

ひとこと要約

本稿は、ドメインエキスパートが会話型モデリングを通じてビジネスプロセスモデルの作成および再設計を支援するために、生成AIチャットボットがどのように機能するかを調査する。KPI、プロンプト、ユーザーレビューを用いたLLM生成モデルの評価フレームワークを提案し、制御フローの正しさに関しては43％の正確性を示したが、品質のばらつきや意味理解の限界のため、人間の監視が依然として不可欠であることが判明した。

ABSTRACT

AI-driven chatbots such as ChatGPT have caused a tremendous hype lately. For BPM applications, several applications for AI-driven chatbots have been identified to be promising to generate business value, including explanation of process mining outcomes and preparation of input data. However, a systematic analysis of chatbots for their support of conversational process modeling as a process-oriented capability is missing. This work aims at closing this gap by providing a systematic analysis of existing chatbots. Application scenarios are identified along the process life cycle. Then a systematic literature review on conversational process modeling is performed, resulting in a taxonomy of application scenarios for conversational process modeling, including paraphrasing and improvement of process descriptions. In addition, this work suggests and applies an evaluation method for the output of AI-driven chatbots with respect to completeness and correctness of the process models. This method consists of a set of KPIs on a test set, a set of prompts for task and control flow extraction, as well as a survey with users. Based on the literature and the evaluation, recommendations for the usage (practical implications) and further development (research directions) of conversational process modeling are derived.

研究の動機と目的

• ビジネスプロセス管理（BPM）における会話型プロセスモデリング（ConverMod）のためのチャットボットの体系的分析の欠落を埋める。
• BPMのライフサイクル全体にわたるConverModの応用シナリオを特定・分類する。
• 完全性および正確性の観点からLLM生成プロセスモデルを評価するための評価フレームワークを構築・適用する。
• BPMワークフローへのチャットボット統合に向けた実務的意義および研究的展望を提示する。
• プロンプト工学、テキスト表現、ユーザーパーソナリティがモデル品質に与える影響を調査する。

提案手法

• ConverModの応用シナリオの分類法を構築するため、体系的文献レビューを実施し、プロセス記述の言い換えや改善を含む。
• 高等教育分野のプロセスデータに基づくテストセットを設計し、LLM（GPT-3.5、GPT-4）のタスク抽出および制御フロー抽出を評価する。
• LLM出力からMermaid.jsおよびGraphvizを用いてプロセスモデルを生成し、視覚的検証を可能にする。
• テストセット上でモデルの完全性および正確性を定量的に評価するためのKPIのセットを定義する。
• ゴールスタンダードモデルとLLM生成モデルを比較するユーザーレビューを通じて、完全性および正確性の観点から定性的な評価を実施する。
• 得られた知見を統合し、特許権およびオープンソースの両方のLLMに適用可能な、ConverModの能力を評価するメソドロジカルフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 会話型モデリング手法／ツールは、プロセスモデリングにどのように活用できるか？
• RQ2 RQ2: プロセスモデリングに用いることができる会話型モデリング手法／ツールは何か？
• RQ3 RQ3: プロセスモデリングの品質に関して、会話型モデリング手法／ツールはどのように評価できるか？
• RQ4 RQ4: チャットボットはBPMモデリング実務および研究に、実務的および研究的意義をどのようにもたらすか？

主な発見

• LLMが生成したプロセスモデルは、制御フロー評価において平均43％の正確性を示した。これは、さらなる改善の余地が大きいことを示している。
• 意味的正確性が低くても、ユーザーレビューにおいて、プロセスモデリング経験の有無に関係なく、LLM生成モデルがゴールスタンダードモデルよりも好まれた。
• LLM出力の完全性は高かったが、制御フローおよび意味的構造の正確性は依然として大きな課題であった。
• 生成モデルの品質は、プロンプト設計、テキスト表現、入力記述の複雑さに極めて敏感であった。
• ドメインエキスパートですら、ゴールスタンダードモデルが存在する状況でも、複数のLLM出力から最良のモデルを選択することが困難であった。
• 現在の市販チャットボットは、プロセスモデルの意味的構造を十分に理解できていないため、モデル比較、クエリ処理、リファクタリングといった高度なタスクにはまだ信頼できない。