[論文レビュー] Detecting and Explaining Drifts in Yearly Grant Applications

Stephen Pauwels, Toon Calders|arXiv (Cornell University)|Sep 15, 2018

Data Stream Mining Techniques参考文献 10被引用数 5

ひとこと要約

本論文は、分解可能なベイジアンネットワークを用いた確率的スコアリングにより、特徴量の手動選択を必要とせず、多次元ビジネスプロセスログにおける概念的ずれの検出と診断を可能にするモデルに依存しない説明可能な手法を提案する。この手法は、EU助成金申請データの年次変化を手動で特徴量選択なしに検出可能であり、属性ごとのスコア分解により原因究明が可能であり、解釈可能な可視化を用いて年次規制変更を効果的に検出する。

ABSTRACT

During the lifetime of a Business Process changes can be made to the workflow, the required resources, required documents, . . . . Different traces from the same Business Process within a single log file can thus differ substantially due to these changes. We propose a method that is able to detect concept drift in multivariate log files with a dozen attributes. We test our approach on the BPI Challenge 2018 data con- sisting of applications for EU direct payment from farmers in Germany where we use it to detect Concept Drift. In contrast to other methods our algorithm does not require the manual selection of the features used to detect drift. Our method first creates a model that captures the re- lations between attributes and between events of different time steps. This model is then used to score every event and trace. These scores can be used to detect outlying cases and concept drift. Thanks to the decomposability of the score we are able to perform detailed root-cause analysis.

研究の動機と目的

• 手動の特徴量選択を要しない、多次元ビジネスプロセスログにおける概念的ずれの検出を目的とする。
• 異常スコアを属性レベルの寄与に分解することで、ずれの原因究明を可能にする。
• ずれと逸脱パターンの直感的な可視化を通じて、技術者および非技術者を問わずユーザーが理解しやすい形で支援する。
• BPI Challenge 2018の実世界の進化するプロセスデータを用いて、年次規制変更を反映する実データ上で手法を評価する。
• プロセス行動の差が、年次間のずれに起因するのか、あるいは部署間の差異に起因するのかを調査する。

提案手法

• トレーニングデータからベイジアンネットワークモデルを構築し、属性間の依存関係および時間的イベントパターンを捉える。
• 属性値、条件付き確率、関数的依存関係に基づいて、各イベントおよびトレースに合成スコアを割り当てる。
• スコアの分解を用いて個々の属性からの寄与を分離し、細かく粒度の高い逸脱分析を可能にする。
• トレーススコア図およびずれ図を用いてログ内の変化点を検出し、視覚的なクラスタリングにより明確なプロセス状態を同定する。
• 属性密度図を用いて、時間セグメントごとの期待値と観測値を比較し、逸脱している属性を強調する。
• モデルスコアを年次で比較し、属性分布のシフト（例：文書種別、サブプロセス）を特定することで、ずれ検出を検証する。

実験結果

リサーチクエスチョン

• RQ1 ビジネスプロセスログにおける概念的ずれは、手動の特徴量設計に依存せずに検出可能か？
• RQ2 BPI Challenge 2018データセットにおいて、連続する年間のプロセス行動に観察される差異の原因は何か？
• RQ3 モデルの説明可能なスコアリング機構は、検出されたずれの原因となっている特定の属性を特定できるか？
• RQ4 部署間でプロセス実行に顕著な差異が認められ、それらがずれと相関しているか？
• RQ5 可視化ツールは、非専門家ユーザーがプロセスのずれを解釈・診断するのをどのように支援できるか？

主な発見

• 本手法は、BPI Challenge 2018データセットにおいて、年次規制変更に対応するずれを効果的に検出できた。ずれのポイントは、既知の年次境界と一致した。
• 属性密度図から、文書種別およびサブプロセスの変化が、年次間のずれの主な要因であることが明らかになった。
• 面積とnumber_parcelsがともにゼロのトレースが外れ値として特定され、期待値から著しく逸脱したスコアを示した。
• モデルの分解可能スコアリング機構により、全ログの再処理を必要とせず、特定の属性（例：面積）への逸脱の正確な局所化が可能になった。
• 標準的なIDベースの属性差異を超えて、部署間で顕著な差異は認められず、部署間でのプロセス実行の一貫性が示された。
• 属性レベルの寄与を分離することで、原因究明が効果的に行えるようになった。説明可能なスコアリングの価値が、ずれ検出において実証された。