[論文レビュー] Business Process Deviance Mining: Review and Evaluation

Hoang Nguyen, Marlon Dumas+3 more|arXiv (Cornell University)|Aug 29, 2016

Business Process Modeling and Analysis参考文献 17被引用数 13

ひとこと要約

本論文は、ビジネスプロセスの逸脱抽出における系列分類技術の比較的評価を提案し、頻出パターン抽出や特徴的パターン抽出といった特徴抽出手法と、単純なアクティビティ数え上げとの比較に焦点を当てる。複合パターン（例：MRA、IPベース）は、ルールセットの興味深さを顕著に向上させ、特に変動が少ないプロセスにおいては基本的なカウントよりも高い正確性を示すが、変動が大きいワークフローではその恩恵が薄れることが判明した。

ABSTRACT

Business process deviance refers to the phenomenon whereby a subset of the executions of a business process deviate, in a negative or positive way, with respect to its expected or desirable outcomes. Deviant executions of a business process include those that violate compliance rules, or executions that undershoot or exceed performance targets. Deviance mining is concerned with uncovering the reasons for deviant executions by analyzing business process event logs. This article provides a systematic review and comparative evaluation of deviance mining approaches based on a family of data mining techniques known as sequence classification. Using real-life logs from multiple domains, we evaluate a range of feature types and classification methods in terms of their ability to accurately discriminate between normal and deviant executions of a process. We also analyze the interestingness of the rule sets extracted using different methods. We observe that feature sets extracted using pattern mining techniques only slightly outperform simpler feature sets based on counts of individual activity occurrences in a trace.

研究の動機と目的

• 系列分類技術に基づくビジネスプロセスの逸脱抽出に関する既存手法を体系的にレビュー・分類すること。
• 実際のビジネスプロセスイベントログを用いて、個々のアクティビティ数え上げ、頻出パターン、特徴的パターンといった異なる特徴抽出手法の性能を評価すること。
• 分類の正確性と抽出されたルールセットの興味深さ（解釈可能性）を、逸脱したプロセス実行を説明する実用的有用性の代理指標として評価すること。
• プロセスアナリストが実行可能なインサイトを得られるようにする特徴タイプと分類手法を特定すること。同時に、高い予測正確性を維持すること。
• 豊富なイベント属性を有する複雑な実世界ログに、現在の記号的系列ベースのアプローチが適用された際の限界を検討すること。

提案手法

• Google Scholarを用いた体系的文献レビュー。ビジネスプロセスの逸脱、系列マイニング、特徴的パターンに関連するキーワードを用いる。
• 特徴抽出手法の評価：(1) 個々のアクティビティ頻度カウント、(2) 頻出パターンマイニング（FP-Growth）、(3) 特徴的パターンマイニング（MRA、IP、IA、セットベース）、(4) 特徴選択のためのFisherスコア。
• 抽出された特徴量を用いて標準的な分類アルゴリズム（例：決定木）を適用し、正常と逸脱したプロセストレースを区別する分類器を構築する。
• 多様な分野（例：医療、保険、MySQL）の複数の実際のイベントログを用いて、バランス型およびアンバランス型の逸脱状況下での性能をテストする。
• 複数の興味深さ指標（phi係数、YuleのQ、Piatetsky-Shapiro、情報ゲイン、ルール長、%Generalization）を用いてルールセットの品質を評価する。
• AUCおよび正確性指標を用いたベンチマークにより、複数のデータセットにおける予測性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 アクティビティ数え上げ、頻出パターン、特徴的パターンといった異なる特徴抽出手法は、逸脱抽出における分類正確性においてどのように比較されるか？
• RQ2 複合パターン（例：MRA、IPベース）は、単純な特徴量と比較して、抽出されたルールの興味深さをどの程度向上させるか？
• RQ3 変動が少ないプロセスと変動が大きいプロセスとの間で、パターンベースの特徴量の性能に顕著な差異が生じるか？
• RQ4 特徴選択にFisherスコアを組み込むことで、得られる分類器の品質と予測力はどのように変化するか？
• RQ5 異なる特徴タイプとデータセットにおいて、分類正確性とルールセットの解釈可能性（興味深さ）のトレードオフはどのようなものか？

主な発見

• MRA や IP ベースのパターンマイニング手法は、すべてのデータセットにおいて単純なアクティビティ頻度カウントよりも、特に phi 係数や Piatetsky-Shapiro の指標において、ルールセットの興味深さが顕著に優れている。
• MRA ベースおよび IP ベースのルールセットは、Hospital1 や Insurance1 といった複数のデータセットで、累積的な興味深さスコアが最も高く、ルール長が短く、%Generalization も高い。
• 変動が少ないプロセスでは、パターンベースの特徴量が分類正確性を顕著に向上させた（一部のケースで AUC が 90% に達した）。一方、変動が大きいプロセスでは正確性の向上がほとんどなく、AUC は約 80% がピークにとどまった。
• IA ベースのルールセットは、Yule の Q と情報ゲインを除き、ほとんどの興味深さ指標で低かったが、ルールセットが大きくなるにつれて改善が見られた。これは、実用的有用性が限定的であることを示唆している。
• セットベースおよび IP ベースの特徴量は、%Generalization とルール長においてわずかな改善を示しており、ルール表現の一般化性と簡潔さが向上していることを示している。
• 本研究は、根本的な限界を明らかにした：現在の記号的系列ベースの手法は、タイムスタンプや属性値ペアといった豊富なイベントペイロードを無視している。今後の研究では、複雑な記号的系列マイニングの必要性が示唆される。