[論文レビュー] Entropia: A Family of Entropy-Based Conformance Checking Measures for Process Mining

Artem Polyvyanyy, Hanan Alkhammash+7 more|arXiv (Cornell University)|Aug 21, 2020

Business Process Modeling and Analysis参考文献 15被引用数 6

ひとこと要約

この論文では、情報理論に基づくエントロピー測度を用いたプロセスマイニングにおける適合性チェックを実装するオープンソースのコマンドラインツール「Entropia」を紹介する。このツールにより、情報理論に基づいた正確で効率的なメトリクスを用いて、モデルの正確性（precision）と再現性（recall）を定量的に評価できる。本ツールは、トレースの完全一致、制御された部分一致、確率的マッチングをサポートしており、不一致許容度を設定可能にすることでパフォーマンスを最適化し、理論的根拠に基づいた妥当なメトリクスを提供する。モデルとログの整合性を評価するための信頼性の高い測定が可能である。

ABSTRACT

This paper presents a command-line tool, called Entropia, that implements a family of conformance checking measures for process mining founded on the notion of entropy from information theory. The measures allow quantifying classical non-deterministic and stochastic precision and recall quality criteria for process models automatically discovered from traces executed by IT-systems and recorded in their event logs. A process model has "good" precision with respect to the log it was discovered from if it does not encode many traces that are not part of the log, and has "good" recall if it encodes most of the traces from the log. By definition, the measures possess useful properties and can often be computed quickly.

研究の動機と目的

• 情報理論に基づくエントロピー測度に根ざした適合性チェックのツールサポートの不足に対処すること。
• スケーラブルで効率的かつ拡張可能なコマンドラインツールを提供し、プロセスモデル評価における正確性と再現性を定量的に測定すること。
• プロセスアナリストが理論的根拠に基づいた情報理論的メトリクスを用いて、特に正確性と再現性のモデル品質を評価できるようにすること。
• 非確率的および確率的適合性チェック手法をサポートし、マッチング戦略（例：制御された部分一致）を調整可能にすること。
• LoLAを統合して入力モデルの有界性を自動的に検証し、モデルの正しさを保証し、状態空間の爆発を回避すること。

提案手法

• 情報検索分野のエントロピー測度を用い、正確性を「共有行動 / 返された行動」の比、再現性を「共有行動 / 関連する行動」の比として定量化する。
• イベントログ（関連する行動として）とプロセスモデル（返された行動として）のトレース集合のエントロピーを用いて、正確性と再現性を計算する。
• 3つの主要な適合性チェック手法を実装する：完全一致（完全なトレースアラインメントに基づく）、制御された部分一致（スキップ回数を設定可能）、確率的マッチング（確率分布を用いる）。
• エントロピーに基づく関連性測度を用い、モデルとログ間の情報理論的類似度を評価する。測定値はビット単位で表現される。
• 入力プロセスモデルの有界性を自動的に検証するため、LoLA 2.0を統合し、正しさの保証と状態空間の爆発を回避する。
• マッチング戦略（例：-srel=1 でログのトレースに最大1回のスキップを許容）を設定可能なCLIを公開する。また、有界性チェック（-b）を有効化可能で、検証をスキップするオプション（-t）も提供する。

実験結果

リサーチクエスチョン

• RQ1 情報理論からのエントロピー測度を、妥当で解釈可能な品質メトリクスを保証するプロセスマイニングにおける適合性チェックに効果的に適用する方法は何か？
• RQ2 現実世界のプロセスマイニングシナリオにおいて、完全一致、制御された部分一致、確率的適合性チェックの間でパフォーマンスのトレードオフはどのように現れるか？
• RQ3 制御されたスキップを許容するような調整可能なマッチング戦略は、大規模なプロセスモデルにおいて正確性、再現性、計算効率のバランスを取れるか？
• RQ4 エントロピー測度を、非確率的および確率的適合性チェックを統合的に扱える、一貫したツール支援フレームワークに拡張できるか？
• RQ5 スケーラビリティと状態空間の爆発という観点から、エントロピーに基づく適合性チェックの実用的限界は何か。また、それらをどのように緩和できるか？

主な発見

• ペトリネットとイベントログ間のエントロピーに基づく完全一致の正確性は0.776であった。これは、モデルと観察された行動との間で強い整合性があることを示している。
• モデルで最大2回、ログで最大1回のスキップを許容する制御された部分一致では、正確性が0.833に上昇し、微小なトレースの変動に対してより高い耐性があることが示された。
• モデルとログ間のエントロピー的関連性は11.368ビットで測定され、モデルと観察された行動との間の情報理論的類似度が定量的に評価された。
• エントロピー的関連性の計算は、ログサイズ（トレース数 × 平均トレース長）に比例して線形にスケーリングされ、大規模なログの効率的処理が可能である。
• 完全一致の適合性チェックは、現実世界のデータセットでは数秒で実行可能であるが、制御された部分一致は高い状態空間の爆発リスクがあるため、小規模な入力に適している。
• 反復的収束を用いた確率的適合性チェックは、多くの場合高速に動作するが、複雑な現実世界のデータセットでは遅延が生じるため、最適化の必要があることが示された。