[論文レビュー] Detection of statistically significant differences between process variants through declarative rules

Alessio Cecconi, Adriano Augusto+1 more|arXiv (Cornell University)|Jan 1, 2021

Business Process Modeling and Analysis参考文献 21被引用数 7

ひとこと要約

本稿では、自然言語で表現された記述的ルールを用いて、プロセスのバリアント間の統計的に有意な差を検出するDeclarative Rules Variant Analysis (DRVA)という手法を提案する。Declare制約と統計的有意性検定を活用することで、DRVAは全プロセス実行にわたる高水準の行動的差異を特定し、実行時間と解釈可能性の面で最先端の手法を上回りながらも、統計的厳密性を保証する。

ABSTRACT

Services and products are often offered via the execution of processes that vary according to the context, requirements, or customisation needs. The analysis of such process variants can highlight differences in the service outcome or quality, leading to process adjustments and improvement. Research in the area of process mining has provided several methods for process variants analysis. However, very few of those account for a statistical significance analysis of their output. Moreover, those techniques detect differences at the level of process traces, single activities, or performance. In this paper, we aim at describing the distinctive behavioural characteristics between variants expressed in the form of declarative process rules. The contribution to the research area is two-pronged: the use of declarative rules for the explanation of the process variants and the statistical significance analysis of the outcome. We assess the proposed method by comparing its results to the most recent process variants analysis methods. Our results demonstrate not only that declarative rules reveal differences at an unprecedented level of expressiveness, but also that our method outperforms the state of the art in terms of execution time.

研究の動機と目的

• 既存のプロセスバリアント分析手法における統計的有意性の評価の欠如に対処すること。
• プロセスグラフやトレースレベルのプロファイルではなく、記述的ルールとして差を表現することにより、解釈性を向上させること。
• 自然言語で記述されたルールを用いて、スケーラブルかつ高水準の行動的比較を可能にすること。
• 検出された差がランダムなばらつきによるものでないことを保証するため、統計的有意性検定を適用すること。
• 実行効率と説明力の両面で、現在の最先端の手法を上回ること。

提案手法

• 本手法は、Response、Precedence、AlternateResponseなどのDeclare制約を、行動ルールを形式的に表現する基本的な構成要素として用いる。
• 異なるバリアントにおけるプロセスインスタンスのアクティビティの頻度および共起パターンを比較することで、バリアント固有のルールを推論する。
• 観察されたルールの差が、差がないという帰無仮説の下で起こりにくいかどうかを評価するために、パーミュテーションに基づく検定を用いて統計的有意性を評価する。
• 自然言語で表現された、特徴的かつ統計的に有意なルールの順序付きリストを出力する。これにより、人間が読みやすい結果を得られる。
• 局所的なイベントペアではなく、全プロセス実行を対象としているため、グローバルかつ文脈を考慮したルール推論が可能である。
• あるバリアントでは成り立つが、もう一方では成り立たない場合に、そのルールを特徴的とみなす。その有意性は、再サンプリングによるp値推定によって検証される。

実験結果

リサーチクエスチョン

• RQ1 記述的ルールを用いることで、人間が解釈可能な形で、プロセスバリアント間の高水準の行動的差を効果的に表現できるか？
• RQ2 統計的有意性検定を組み込むことで、有意性を考慮しない手法と比較して、検出された差の信頼性が向上するか？
• RQ3 実行時間とスケーラビリティの観点から、提案手法は最先端の技術と比較してどのように性能を発揮するか？
• RQ4 BPIC15ログのような、柔軟で複雑なプロセスバリアント、特にトレースの多様性が高いケースに対しても、本手法は適応可能か？
• RQ5 グラフベースやトレースレベルの分析と比較して、記述的ルールは、より表現力があり意味のある差をどのように提供するか？

主な発見

• DRVAは、BPIC13、BPIC15、SEPSISログでそれぞれ4.9秒、326.7秒、4.6秒の実行時間を達成し、すべてのケースでMFVAおよびPESVAを上回った。
• BPIC15ログでは、PESVAが3時間でタイムアウトしたが、DRVAは326.7秒で完了し、優れたスケーラビリティを示した。
• MFVAやPESVAと比較して、DRVAは差を複雑なグラフや曖昧なイベントベースの記述ではなく、記述的ルールとして表現することで、より解釈可能な結果を生成した。
• RTFMPログでは、DRVAが10個の特徴的ルールを同定した。例えば、バリアントBでは「16_LGSD_010が発生した場合、01_HOOFD_490_2が必ず発生する」というルールが統計的信頼性とともに特定された。
• SEPSISの事例では、DRVAはバリアントAで「01_HOOFD_492_2は最大1回まで発生可能」というバリアント固有のルールを正しく捉えたが、PESVAは明確に表現できなかった。
• DRVAがグローバルかつルールベースの推論を採用したことで、局所的なイベントペアやプライムイベント構造に依存する手法と比較して、より一貫性があり意味的に明確な差を特定できた。