[論文レビュー] XES Tensorflow - Process Prediction using the Tensorflow Deep-Learning Framework

Jöerg Evermann, Jana-Rebecca Rehse+1 more|arXiv (Cornell University)|May 3, 2017

Business Process Modeling and Analysis被引用数 6

ひとこと要約

本論文では、XESイベントログからビジネスプロセスのトレースを予測するためにTensorFlowを使用する、柔軟なディープラーニングツール「XES Tensorflow」を提示する。本研究は先行研究を拡張し、各カテゴリカル予測子ごとに別々の埋め込みを提供する多属性予測を可能にし、カテゴリカルおよび数値入力を両方サポートし、非専門家がハイパーパrameterをカスタマイズ可能にし、TensorBoardによる可視化も可能なGUIを提供する。

ABSTRACT

Predicting the next activity of a running process is an important aspect of process management. Recently, artificial neural networks, so called deep-learning approaches, have been proposed to address this challenge. This demo paper describes a software application that applies the Tensorflow deep-learning framework to process prediction. The software application reads industry-standard XES files for training and presents the user with an easy-to-use graphical user interface for both training and prediction. The system provides several improvements over earlier work. This demo paper focuses on the software implementation and describes the architecture and user interface.

研究の動機と目的

• ディープラーニングを用いたプロセス予測のための、使いやすくオープンソースのソフトウェアツールを開発すること。
• 既存のRNNベースのプロセス予測手法を拡張し、複数のカテゴリカルおよび数値予測子およびターゲットをサポートすること。
• 各属性ごとに別々の埋め込みを用いることで、柔軟な入力エンコーディングを実現し、語彙サイズを低減し、一般化性能を向上させること。
• グラフィカルインターフェースと予測APIを提供し、非プログラミングの研究者や実務家が利用しやすくすること。
• 設定可能なトレーニングパラメータとTensorBoardによるモデル可視化を備えた、再現可能な実験を支援すること。

提案手法

• 本システムは、固定ステップ数にわたってアンロールされたLSTMセルを用いた、シーケンス・ツー・シーケンスRNNアーキテクチャを採用し、プロセストレースをモデル化する。
• 各カテゴリカル予測子属性（例：アクティビティ、リソース）には固有のカテゴリIDが割り当てられ、別々のk次元ベクトル空間に埋め込まれる。
• すべてのカテゴリカル予測子の埋め込みベクトルは、数値予測子と連結され、RNNの入力ベクトルを形成する。
• モデルはバックプロパゲーションと勾配降下最適化アルゴリズムを用いてトレーニングされ、予測出力とターゲット出力の間の損失関数（例：交差エントロピー）を最小化する。
• 予測は逐次的に行われる：モデルは現在のトレースプレフィックスに基づき、次のイベントの属性を予測し、より長いサフィックスに対して繰り返し適用する。
• トレーニング済みモデルと埋め込み行列は、シンプルなAPIを備えたスタンドアロンの予測アプリケーションにデプロイ可能な、凍結・コンパクトな形式で保存される。

実験結果

リサーチクエスチョン

• RQ1 柔軟でGUIベースのディープラーニングツールは、非専門家ユーザーのプロセス予測へのアクセス性を向上させることができるか？
• RQ2 各カテゴリカル属性ごとに別々の埋め込みを用いることで、文字列連結ベースのエンコーディングに比べて予測性能が向上するか？
• RQ3 1つのRNNフレームワーク内で、複数の属性（例：アクティビティとリソースの両方を予測）を効果的にサポートできるか？
• RQ4 ケースレベルおよびイベントレベルの多様な属性を予測子として含めることで、予測精度にどのような影響を与えるか？
• RQ5 本ツールは、標準的なBPIデータセットにおいて、先行研究の最先端の結果を再現または改善できるか？

主な発見

• 同じモデルとハイパーパramータ設定を用いた場合、本ソフトウェアはBPI 2012および2013データセットにおいて、先行研究で報告されたトレーニングパフォーマンスを正確に再現した。
• 各属性ごとの別々の埋め込みの使用により、入力語彙サイズが低減され、多様なカテゴリカル予測子の処理がより効果的に行えるようになった。
• 本システムは単一および多属性予測を両方サポートし、各ターゲット変数に対して共有または別々のRNN層を用いることができる。
• GUIを介して、ユーザーはコードを書かずに予測子、ターゲット、埋め込み次元、トレーニングパラメータを設定できる。
• モデルトレーニングと可視化はTensorBoardを介してサポートされ、学習済み埋め込みのt-SNEおよびPCA射影も可能である。
• 本ツールは拡張可能であり、予測子とターゲットの新しい組み合わせを通じて、さらなる予測性能の向上に関する継続的な研究を可能にする。