[論文レビュー] Memory-Augmented Neural Networks for Predictive Process Analytics

Asjad Khan, Hung Lê+5 more|arXiv (Cornell University)|Feb 3, 2018

Business Process Modeling and Analysis参考文献 12被引用数 16

ひとこと要約

本論文は、二重コントローラーとライト保護メモリポリシーを組み合わせたメモリ拡張ニューラルネットワーク（MANN）フレームワークを提案し、予測プロセス分析の性能を向上させることを目的としている。実世界のデータセットを用いた実験において、次アクティビティ予測、完了までの時間予測、サフィックス予測の各タスクで最先端の性能を達成しており、予測的プロセス推薦エンジンとしての強力な潜在的可能性を示している。

ABSTRACT

Process analytics involves a sophisticated layer of data analytics built over the traditional notion of process mining. The flexible execution of business process instances involves multiple critical decisions including what task to perform next and what resources to allocate to a task. In this paper, we explore the application of deep learning techniques for solving various process analytics related problems. Based on recent advances in the field we specifically look at memory-augmented neural networks (MANN)s and adapt the latest model to date, namely the Differential Neural Computer. We introduce two modifications to account for a variety of tasks in predictive process analytics: (i) separating the encoding phase and decoding phase, resulting dual controllers, one for each phase; (ii) implementing a write-protected policy for the memory during the decoding phase. We demonstrate the feasibility and usefulness of our approach by solving a number of common process analytics tasks such as next activity prediction, time to completion and suffix prediction. We also introduce the notion of MANN based process analytics recommendation machinery that once deployed can serve as an effective business process recommendation engine enabling organizations to answer various prescriptive process analytics related questions.Using real-world datasets, we benchmark our results against those obtained from the state-of-art methods. We show that MANNs based process analytics methods can acheive state-of-the-art performance and have a lot of value to offer for enterprise specific process anlaytics applications.

研究の動機と目的

• 従来のプロセスマイニングの限界を克服し、より正確な予測的・規定的分析を実現するため、深層学習を統合すること。
• 長期間にわたる依存関係や変動する実行経路を有する複雑で動的なビジネスプロセスをモデル化する課題に対処すること。
• 次アクティビティ予測や完了までの時間予測といった多様な予測プロセス分析タスクを処理できる柔軟でスケーラブルなフレームワークの開発。
• 外部メモリを用いたプロセスインスタンスの推論を可能にする、メモリ拡張アーキテクチャの導入。
• MANNベースの推論を活用し、企業のプロセス最適化のための知的推薦エンジンの導入を可能にすること。

提案手法

• 最先端のMANNである微分型ニューラルコンピュータ（DNC）を、プロセス分析に適応させるために、別個のエンコーディングコントローラーとデコーディングコントローラーを導入する。
• メモリアクセスメカニズムを段階的に分離する：エンコーディング段階ではプロセス表現の学習を行い、デコーディング段階では予測を実行する。
• デコーディング段階においてライト保護メモリポリシーを実装し、学習済み表現を保持し、推論中に干渉を防ぐ。
• メモリの読み取り・書き込み操作を用いてプロセス状態情報を格納・取得し、アクティビティおよびリソースの系列に対する推論を可能にする。
• 複数の予測タスクを同時に最適化できるように、イベントログ上でエンドツーエンドにモデルを学習する。
• 注目メカニズムに基づくメモリアドレッシングを活用し、予測時に関連する歴史的プロセス状態に動的に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張ニューラルネットワークは、ビジネスプロセス実行ログにおける長期的依存関係を効果的にモデル化できるか？
• RQ2 エンコーディングとデコーディングコントローラーを分離することで、予測プロセス分析タスクの性能がどのように向上するか？
• RQ3 デコーディング段階におけるライト保護メモリポリシーは、予測の安定性と正確性をどの程度向上させるか？
• RQ4 提案されたMANNベースのフレームワークは、複数のプロセス分析タスクで最先端の性能を達成できるか？
• RQ5 このフレームワークは、リアルタイムのビジネスプロセス推薦エンジンの基盤としてどの程度有効か？

主な発見

• 提案されたMANNベースの手法は、次アクティビティ予測、完了までの時間予測、サフィックス予測の各タスクで最先端の性能を達成した。
• エンコーディングとデコーディングコントローラーの分離により、表現学習と生成の分離が実現され、モデルの安定性と予測精度が向上した。
• デコーディング段階におけるライト保護メモリポリシーの導入により、メモリ干渉が顕著に低減され、多様なプロセスインスタンスにおける一般化性能が向上した。
• フレームワークは実世界のデータセットにおいて強力な一般化性能を示し、複数の評価シナリオで既存の最先端手法を上回った。
• このアーキテクチャは、規定的プロセス推薦エンジンの基盤として有効であり、複雑なビジネスプロセス最適化の質問に応える能力を備えていた。
• 長期間の系列と外部メモリを用いた推論が可能なモデルの能力により、変動的で複雑なプロセスフローの堅牢な処理が可能となった。