[論文レビュー] Evaluating Explainable Methods for Predictive Process Analytics: A Functionally-Grounded Approach

Mythreyi Velmurugan, Chun Ouyang+2 more|arXiv (Cornell University)|Dec 8, 2020

Business Process Modeling and Analysis被引用数 4

ひとこと要約

本稿は、予測プロセス分析における説明可能AI手法（LIMEおよびSHAP）を評価するための機能的根拠に基づく評価指標—忠実度（fidelity）と安定性（stability）—を提案する。XGBoostモデルを3つの実世界のイベントログに適用した結果、両手法は忠実度において同等の性能を示すが、全体的な忠実度は低く、特に単一バケツ化と集約符号化の組み合わせでは顕著に低下する。また、プレフィックス長と説明品質の間に一貫した相関関係は認められず、実用的導入における課題を浮き彫りにしている。一方で、ブラックボックスモデルの精度は非常に高い。

ABSTRACT

Predictive process analytics focuses on predicting the future states of running instances of a business process. While advanced machine learning techniques have been used to increase accuracy of predictions, the resulting predictive models lack transparency. Current explainable machine learning methods, such as LIME and SHAP, can be used to interpret black box models. However, it is unclear how fit for purpose these methods are in explaining process predictive models. In this paper, we draw on evaluation measures used in the field of explainable AI and propose functionally-grounded evaluation metrics for assessing explainable methods in predictive process analytics. We apply the proposed metrics to evaluate the performance of LIME and SHAP in interpreting process predictive models built on XGBoost, which has been shown to be relatively accurate in process predictions. We conduct the evaluation using three open source, real-world event logs and analyse the evaluation results to derive insights. The research contributes to understanding the trustworthiness of explainable methods for predictive process analytics as a fundamental and key step towards human user-oriented evaluation.

研究の動機と目的

• 予測プロセス分析における説明可能AI手法の体系的評価の欠如に対処すること。
• 人間の評価に依存しない説明品質の評価のため、機能的根拠に基づく指標（忠実度と安定性）を提案すること。
• 多様な実世界のイベントログを用いて、XGBoostベースの予測モデルの説明においてLIMEおよびSHAPの性能を評価すること。
• データ符号化、バケツ化戦略、プレフィックス長が説明品質に与える影響を同定すること。
• プロセス予測の文脈における説明可能手法の信頼性および実用的限界に関する洞察を提供すること。

提案手法

• 機能的根拠に基づく評価指標の提案：説明忠実度（説明がブラックボックスモデルをどの程度正しく反映しているか）と安定性（同一インスタンスの摂動に対する特徴量重要度の一貫性）の定義。
• XGBoostモデルを3つの実世界のイベントログ（Production、Sepsis Cases、BPIC2012）に訓練し、その解釈のためにLIMEおよびSHAPを後処理的手法として適用。
• 複数の前処理設定を用いる：単一バケツ化対比プレフィックス長バケツ化、および集約符号化対比インデックスベース符号化。
• 忠実度は、摂動を加えたインスタンスにおいて、サーヴィレートモデル（LIME/SHAP）の予測と元のブラックボックスモデルの予測を比較することで測定。
• 安定性は、同一インスタンスの複数回の摂動における特徴量重要度順位の類似度を計算することで測定。
• プレフィックス長と符号化方法の変動を想定した体系的な実験設計を採用し、説明品質のトレンドを分析。

実験結果

リサーチクエスチョン

• RQ1 LIMEおよびSHAPは、実世界のプロセス予測タスクにおけるXGBoostモデルを説明する際、どの程度の忠実度を示すか？
• RQ2 異なる符号化およびバケツ化戦略が、説明の安定性および忠実度に与える影響は何か？
• RQ3 プレフィックス長と忠実度または安定性の間に一貫した関係があるか？
• RQ4 データセットの特性（例：サイズ、スパarsity）が説明品質に与える影響は何か？
• RQ5 ブラックボックスモデルが高精度であるが複雑である場合、説明手法はどの程度信頼性を保つのか？

主な発見

• LIMEおよびSHAPはほとんどの設定で同等の忠実度を示すが、全体的な忠実度は低く、特に単一バケツ化と集約符号化を併用した場合に顕著に低下する。
• 単一バケツ化と集約符号化の組み合わせは、ブラックボックス精度を最大化するが、説明の忠実度を最も低下させる。これは、精度と説明可能性の間のトレードオフを示している。
• プレフィックス長と忠実度の間に一貫したトレンドは認められないが、BPIC2012データセットではプレフィックス長が長いほど忠実度が高くなる傾向が見られ、これは長大なプレフィックス長でブラックボックスモデルの性能が向上するためと推察される。
• 安定性と忠実度には直接相関がない。つまり、安定性が悪いからといって必ずしも忠実度が低いとは限らず、アンサンブルベースの説明選択手法が不安定性を緩和できる可能性がある。
• インデックスベース符号化を用いたSepsis Casesデータセットでは、決定境界（予測確率 ≈ 0.5）付近では説明が一様に忠実であるが、予測がより自信を持つ場合（確信度が高い場合）には精度が低下する。これは、モデルの不足適合とデータのスパarsityに起因すると考えられる。
• 結果として、ブラックボックスモデルが正確であっても、説明手法がその行動を信頼できる形で反映していない可能性が示され、さらなる精錬や手法選択なしには実用的利用が制限される可能性がある。