[論文レビュー] ProcessTransformer: Predictive Business Process Monitoring with Transformer Network

Zaharah Bukhsh, Aaqib Saeed+1 more|arXiv (Cornell University)|Apr 1, 2021

Business Process Modeling and Analysis参考文献 33被引用数 30

ひとこと要約

本論文は ProcessTransformer を紹介する。イベントログから高レベル表現を学習して次の活動、イベント時間、残り時間を最小前処理で予測する Transformer ベースのモデルで、9つの実データセットで高精度とMAEを達成。

ABSTRACT

Predictive business process monitoring focuses on predicting future characteristics of a running process using event logs. The foresight into process execution promises great potentials for efficient operations, better resource management, and effective customer services. Deep learning-based approaches have been widely adopted in process mining to address the limitations of classical algorithms for solving multiple problems, especially the next event and remaining-time prediction tasks. Nevertheless, designing a deep neural architecture that performs competitively across various tasks is challenging as existing methods fail to capture long-range dependencies in the input sequences and perform poorly for lengthy process traces. In this paper, we propose ProcessTransformer, an approach for learning high-level representations from event logs with an attention-based network. Our model incorporates long-range memory and relies on a self-attention mechanism to establish dependencies between a multitude of event sequences and corresponding outputs. We evaluate the applicability of our technique on nine real event logs. We demonstrate that the transformer-based model outperforms several baselines of prior techniques by obtaining on average above 80% accuracy for the task of predicting the next activity. Our method also perform competitively, compared to baselines, for the tasks of predicting event time and remaining time of a running case

研究の動機と目的

• イベントログを用いて運用効率とリソース管理を改善するための予測型ビジネスプロセスモニタリング（PBPM）を推進する。
• 再帰を用いず長距離依存を捉える Transformer ベースのアーキテクチャを提案する。
• 最小限の前処理でのエンドツーエンド学習が、複数の PBPM タスクで競争力のあるまたは優れた性能を発揮することを示す。

提案手法

• 学習可能な埋め込みと36次元の位置エンコーディングを組み合わせてイベントシーケンスを埋め込む。
• リカレンスなしに traces から表現を学ぶために多頭自己注意を適用する。
• グローバル最大プーリングとフィードフォワード層を用いてタスク固有の出力を生成する。
• 次の活動にはカテゴリカルクロスエントロピー、時刻予測には回帰損失（MAE風）など、タスクに適した損失で学習する。
• 9つの実世界のログで評価し、PBPM 文献のベースラインと比較する。
• 3つのタスク：次の活動予測、次のイベント時刻、残り時間予測の結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 最小限の前処理で生のイベントログから PBPM タスクを効果的に学習できる Transformer ベースのモデルは存在するか。
• RQ2 既存のベースラインと比較して、ProcessTransformer は次の活動、次のイベント時刻、残り時間予測でどのように性能を示すか。
• RQ3 イベントシーケンスの長距離依存は、さまざまなデータセットで実行中のケースの予測精度を改善するか。

主な発見

Dataset	Next Activity Accuracy (%)	Next Activity F-score	Event Time MAE (days)	Remaining Time MAE (days)
Helpdesk	85.63	0.82	2.98	3.72
BPIC12	85.20	0.83	0.25	4.60
BPIC12w	91.51	0.91	0.37	4.87
BPIC12cw	78.48	0.77	0.82	5.14
BPIC13	62.11	0.60	0.99	8.36
BPIC20d	86.07	0.84	1.22	2.44
BPIC20i	93.35	0.91	3.26	10.68
Hospital	85.83	0.82	9.33	44.87
Traffic fines	90.00	0.87	40.28	98.24

• 評価データセット全体で次の活動予測の平均精度は80%以上。
• 次の活動 MAE はデータセットごとに以下の範囲: 2.98 (Helpdesk), 0.25 (BPIC12), 0.37 (BPIC12w), 0.82 (BPIC12cw), 0.99 (BPIC13)。
• データセット全体の平均イベント時間 MAE は 1.08 日。
• データセット全体の平均残り時間 MAE は 5.33 日。
• ProcessTransformer は大規模な前処理や特徴量エンジニアリングを要さず、競争力のあるまたは優れた性能を達成する。
• このモデルは9つの実ログ全体で強い汎化性能を示し、短いトレースと長いトレースの両方を扱える。