[論文レビュー] An empirical comparison of deep-neural-network architectures for next activity prediction using context-enriched process event logs

Sven Weinzierl, Sandra Zilker+6 more|arXiv (Cornell University)|May 3, 2020

Business Process Modeling and Analysis参考文献 51被引用数 16

ひとこと要約

本稿は、次アクティビティ予測のための実世界の文脈豊富なプロセスイベントログ5件に対して、3種類の深層ニューラルネットワーク（DNN）アーキテクチャ（MLP、LSTM、CNN）と5種類の符号化手法（バイナリ、順序、ワンホット、ハッシュ、word2vec）を組み合わせた実験的評価を実施している。主な貢献は、DNNアーキテクチャの選定と属性符号化が予測性能に顕著な影響を及ぼすことを特定したことであり、特にLSTMとword2vecが、高クラス不均衡や低インスタンス/バリアント比の条件下でも優れた結果を示すことが判明した。

ABSTRACT

Researchers have proposed a variety of predictive business process monitoring (PBPM) techniques aiming to predict future process behaviour during the process execution. Especially, techniques for the next activity prediction anticipate great potential in improving operational business processes. To gain more accurate predictions, a plethora of these techniques rely on deep neural networks (DNNs) and consider information about the context, in which the process is running. However, an in-depth comparison of such techniques is missing in the PBPM literature, which prevents researchers and practitioners from selecting the best solution for a given event log. To remedy this problem, we empirically evaluate the predictive quality of three promising DNN architectures, combined with five proven encoding techniques and based on five context-enriched real-life event logs. We provide four findings that can support researchers and practitioners in designing novel PBPM techniques for predicting the next activities.

研究の動機と目的

• 予測的ビジネスプロセスモニタリング（PBPM）における次アクティビティ予測のための深層ニューラルネットワーク（DNN）アーキテクチャと符号化手法の包括的実験的比較が不足しているという問題に取り組むこと。
• 異なるDNNアーキテクチャ（MLP、LSTM、CNN）と符号化手法（バイナリ、順序、ワンホット、ハッシュ、word2vec）が、実世界の文脈豊富なイベントログにおける予測性能に与える影響を評価すること。
• 特にクラス不均衡や低インスタンス/バリアント比といった困難な条件下でも、予測精度が最も高いDNNアーキテクチャと符号化手法の組み合わせを同定すること。
• 運用上のビジネスプロセスにおける次アクティビティ予測のための最適なDNN設定の選定に関する、研究者および実務家向けの実用的知見を提供すること。

提案手法

• 本研究では、元の論文に記載されたハイパーパrameterを用いて、マルチレイヤーパーセプトロン（MLP）、長短期記憶（LSTM）、畳み込みニューラルネットワーク（CNN）という3種類のDNNアーキテクチャを評価した。
• バイナリ、順序、ワンホット、ハッシュ、word2vecという5種類の符号化手法を用い、カテゴリカル属性および文脈属性をDNNの入力に適した密なベクトル表現に変換した。
• クラス不均衡やインスタンス/バリアント比などの特性に差がある5件の実世界の文脈豊富なイベントログを、評価用のデータセットとして用いた。
• 分類性能は、標準的な分類指標（正解率、F1スコア、AUC-PR）を用いて測定され、特にログに顕著なクラス不均衡が見られるため、AUC-PRに注目した。
• 異なるDNNアーキテクチャと符号化手法の組み合わせにおけるモデル性能を比較し、さまざまなデータ条件下での最良の組み合わせを同定した。
• データ特性（インスタンス/バリアント比、クラス分布など）がDNNベースの次アクティビティ予測モデルの性能に与える影響を評価するため、統計的分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 文脈豊富なイベントログと組み合わせた場合、どの深層ニューラルネットワークアーキテクチャ（MLP、LSTM、CNN）が次アクティビティ予測において最も高い性能を発揮するか？
• RQ2 異なる符号化手法（バイナリ、順序、ワンホット、ハッシュ、word2vec）は、次アクティビティ予測タスクにおけるDNNの予測品質にどのように影響を与えるか？
• RQ3 クラス不均衡やインスタンス/バリアント比といったデータ特性が、DNNベースの次アクティビティ予測モデルの性能に及ぼす影響はどの程度か？
• RQ4 特定のDNNアーキテクチャと符号化手法の組み合わせが、多様な実世界のイベントログにおいて一貫して他の組み合わせを上回る性能を発揮するか？

主な発見

• LSTMにword2vec符号化を組み合わせたモデルが、大多数のイベントログで最高の予測性能を示し、特にクラス不均衡や低インスタンス/バリアント比の状況下でも優れた性能を発揮した。
• AUC-PR指標は、インスタンス/バリアント比が低いログ（1.40–2.84）では顕著に性能が劣ることが判明したのに対し、比が高いログ（8.26–20.27）では良好な性能を示しており、データのスパarsityが予測精度を制限していることが示唆された。
• 特に「ハッピーパath」現象を示すログでは、クラス不均衡が著しく顕在化しており、F1スコアとAUC-PR値が一貫して低かった。これは、PBPMにおける不均衡データの影響が顕著であることを示している。
• 特にアクティビティクラスのカーディナリティが高いログでは、word2vecが他の符号化手法に比べてアクティビティおよび文脈属性間の意味的関係をより効果的に捉えていた。
• LSTMとword2vecの組み合わせは、複雑なプロセスバリアントや高い文脈的多様性を示すログにおいて、精度、再現率、F1スコアのバランスが最も優れていた。
• 本研究では、MLPおよびCNNアーキテクチャが、長時間または複雑なプロセストレースを示すログや、高い文脈依存性を示すログでは、LSTMに比べて一般的に性能が劣ることが判明した。