[論文レビュー] Time Matters: Time-Aware LSTMs for Predictive Business Process Monitoring

An Nguyen, Srijeet Chatterjee+4 more|arXiv (Cornell University)|Oct 2, 2020

Business Process Modeling and Analysis参考文献 18被引用数 6

ひとこと要約

本稿では、イベント間の経過時間を明示的にモデル化することで、予測型ビジネスプロセス監視を向上させるTime-Aware LSTMs (T-LSTM)を提案する。次アクティビティおよびタイムスタンプ予測の両方において、精度を向上させるとともに、MAEを低減する。T-LSTMは、時間間隔をLSTMセル状態に統合し、クラス不均衡を解消するためのコストセンシティブ学習を適用することで、ベンチマークログ上でのアンサンブルLSTMベースラインと比較して優れた精度と低いMAEを達成した。

ABSTRACT

Predictive business process monitoring (PBPM) aims to predict future process behavior during ongoing process executions based on event log data. Especially, techniques for the next activity and timestamp prediction can help to improve the performance of operational business processes. Recently, many PBPM solutions based on deep learning were proposed by researchers. Due to the sequential nature of event log data, a common choice is to apply recurrent neural networks with long short-term memory (LSTM) cells. We argue, that the elapsed time between events is informative. However, current PBPM techniques mainly use 'vanilla' LSTM cells and hand-crafted time-related control flow features. To better model the time dependencies between events, we propose a new PBPM technique based on time-aware LSTM (T-LSTM) cells. T-LSTM cells incorporate the elapsed time between consecutive events inherently to adjust the cell memory. Furthermore, we introduce cost-sensitive learning to account for the common class imbalance in event logs. Our experiments on publicly available benchmark event logs indicate the effectiveness of the introduced techniques.

研究の動機と目的

• イベント間の経過時間をディープラーニングモデルに組み込むことで、予測型ビジネスプロセス監視 (PBPM) を改善すること。
• イベントログにおけるクラス不均衡という問題に起因するアクティビティ予測性能の偏りを是正すること。
• 時間間隔をメモリセルの更新にネイティブに統合することができる、時間に配慮したLSTMの変種（T-LSTM）を開発すること。
• T-LSTMおよびコストセンシティブ学習の有効性を、実世界のベンチマークイベントログ上で評価すること。
• 時間に配慮したモデリングが、次アクティビティおよび次タイムスタンプ予測の両方における予測精度を向上させることを示すこと。

提案手法

• Baytasら（2016）の研究にインspされ、連続するイベント間の経過時間を組み込むことでセル状態を調整する、修正されたLSTMセル（T-LSTM）を提案する。
• 標準LSTMの更新式を変更し、時間依存のゲート調節を導入することで、メモリが時間的ギャップに基づいて更新可能となるようにする。
• イベントログにおけるクラス分布の歪みを是正するため、損失関数にコストセンシティブ学習を適用する。
• アクティビティ特徴量にはワンホットエンコーディングと埋め込みを用い、時間的制御フロー特徴量は先行研究（Taxら、2018年）と同様に計算する。
• 共有エンコーダ層を用いたマルチタスク学習の枠組みを採用し、次アクティビティと次タイムスタンプの同時予測を実現する。
• TensorFlow 2.1を用いてハイパーパramータチューニングと複数回のランダム初期化を実施し、モデルの安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 LSTMセルにイベント間の経過時間を組み込むことで、ビジネスプロセス監視における予測性能が向上するか？
• RQ2 提案されたT-LSTMアーキテクチャは、標準のアンサンブルLSTMモデルと比較して、次アクティビティおよびタイムスタンプ予測タスクで優れた性能を示すか？
• RQ3 コストセンシティブ学習は、イベントログデータにおけるクラス不均衡に起因する性能低下をどの程度緩和できるか？
• RQ4 T-LSTMとコストセンシティブ学習の組み合わせが、さまざまなベンチマークデータセット上で予測精度にどのような影響を与えるか？
• RQ5 時間に配慮したモデリングの恩恵は、タイムスタンプ予測においてアクティビティ予測よりも顕著に現れるか？

主な発見

• T-LSTMアプローチは、次アクティビティ予測において、Helpdeskデータセットで0.724の最高精度を達成し、ベースラインより0.012高い性能を示した。BPI12Wデータセットでは0.778の精度を記録し、ベースラインより0.018高い性能を示した。
• 次タイムスタンプ予測において、Tax+CS+T-LSTMアプローチは、HelpdeskでMAEを2.94日まで低減し、BPI12Wでは0.90日まで低下させた。これは、ベースライン（3.75日および1.56日）を上回る一貫した改善を示している。
• コストセンシティブ学習とT-LSTMの組み合わせが最も優れた結果をもたらした。両技術が最適な性能を発揮するために不可欠であることが示された。
• T-LSTMの有効性は、アクティビティ予測よりもタイムスタンプ予測において顕著に現れた。これは、時間モデリングが回帰タスクにおいて特に価値があることを示唆している。
• Tax+CS+T-LSTMアプローチは、両タスクおよび両データセットにおいて最良の全体的性能を達成した。時間に配慮したモデリングとクラス不均衡処理の相乗効果が確認された。
• 分野固有の特徴（例：時間間隔）をニューラルネットワーク層に直接統合することで、PBPMにおける予測モデリングの性能を顕著に向上させられることを示唆している。