[論文レビュー] Leveraging Large Language Models (LLMs) for Process Mining (Technical Report)

Alessandro Berti, Mahnaz Sadat Qafari|arXiv (Cornell University)|Jul 24, 2023

Business Process Modeling and Analysis被引用数 8

ひとこと要約

論文は大規模言語モデル（GPT-4と Bard）を用いて、ログとモデルをテキストの抽象表現へ変換し、さまざまなプロンプト戦略を適用してプロセスミニングのアーティファクトを分析することを調査します。

ABSTRACT

This technical report describes the intersection of process mining and large language models (LLMs), specifically focusing on the abstraction of traditional and object-centric process mining artifacts into textual format. We introduce and explore various prompting strategies: direct answering, where the large language model directly addresses user queries; multi-prompt answering, which allows the model to incrementally build on the knowledge obtained through a series of prompts; and the generation of database queries, facilitating the validation of hypotheses against the original event log. Our assessment considers two large language models, GPT-4 and Google's Bard, under various contextual scenarios across all prompting strategies. Results indicate that these models exhibit a robust understanding of key process mining abstractions, with notable proficiency in interpreting both declarative and procedural process models. In addition, we find that both models demonstrate strong performance in the object-centric setting, which could significantly propel the advancement of the object-centric process mining discipline. Additionally, these models display a noteworthy capacity to evaluate various concepts of fairness in process mining. This opens the door to more rapid and efficient assessments of the fairness of process mining event logs, which has significant implications for the field. The integration of these large language models into process mining applications may open new avenues for exploration, innovation, and insight generation in the field.

研究の動機と目的

• 大規模言語モデルと伝統的およびオブジェクト指向のプロセスミニングアーティファクトの統合を動機付ける。
• プロセスミニングアーティファクトのテキスト抽象化を開発し、LLM の理解を可能にする。
• prompting 戦略（直接回答、マルチプロンプト、イベントログに対する仮説検証のためのデータベース照合生成）の評価。
• 手続き型および宣言型モデルとプロセスミニングにおける公平性概念を含むLLMの性能を評価。

提案手法

• プロセスミニングアーティファクトのテキストエンコードを作成する（DFG、Petri ネット、OC-DFG、DECLARE、時系列プロファイル）。
• プロンプティング戦略を説明・実装する：直接回答、マルチプロンプト回答、イベントログに対する仮説検証のためのデータベース照合生成。
• 異なる文脈とアーティファクトタイプで2つのLLM（GPT-4と Google Bard）を用いて実験する。
• 複雑なモデル（DECLAREモデルなど）の文脈窓制約に適合させる前処理と略語戦略を検討。
• イベントログをMLタスクの数値入力へ変換する特徴抽出アプローチを概説（ワンホットエンコード、集計、シーケンス、n-gram、埋め込み）。
• プロセスミニングにおける公平性概念（個人、公正性、手続き型、公的データの利用可能性を含む）を扱い、公正性評価のためのデータ公開について論じる。

実験結果

リサーチクエスチョン

• RQ1 テキストとしてエンコードされた伝統的およびオブジェクト指向のプロセスマイニングアーティファクトを、LLMはどれだけ効果的に理解・推論できるか？
• RQ2 どのプロンプト戦略が、LLMを用いたプロセスマイニングタスクの堅牢な分析と仮説検証を可能にするか？
• RQ3 LLMsは手続き型・宣言型・オブジェクト指向プロセスモデルをどの程度支援し、イベントログにおける公平性を評価できるか？

主な発見

• LLMs（GPT-4と Bard）は、主要なプロセスミニングの抽象化を堅牢に理解し、宣言型および手続き型モデルの両方を解釈できる。
• LLMsはオブジェクト指向の設定で良好な性能を示し、オブジェクト指向プロセスミニングの発展を支援する。
• テキスト抽象化により、LLMs は直接的なフォロー関係グラフ、Petri ネット、DECLARE/時系列モデルを推論できる。
• マルチプロンプトやデータベース照合生成を含む prompting 戦略は、元のイベントログに対する仮説検証を支援する。
• LLMs はプロセスミニングにおける公正性概念の評価能力を示し、公正性の迅速な評価の可能性を示唆する。