[論文レビュー] Local Post-Hoc Explanations for Predictive Process Monitoring in Manufacturing

Nijat Mehdiyev, Peter Fettke|arXiv (Cornell University)|Sep 22, 2020

Fault Detection and Control Systems参考文献 66被引用数 11

ひとこと要約

本論文は、プロセスマイニング、ディープラーニング、および説明可能AI（XAI）を統合することで、製造業における予測的プロセスモニタリングのためのローカル後処理説明フレームワークを提案する。シェープリー値と個別条件期待（ICE）プロットを用いて、ドメインエキスパートが活用可能な解釈可能なインサイトを生成し、説明可能な予測分析を通じてプロセス計画における意思決定を顕著に向上させる。

ABSTRACT

This study proposes an innovative explainable predictive quality analytics solution to facilitate data-driven decision-making for process planning in manufacturing by combining process mining, machine learning, and explainable artificial intelligence (XAI) methods. For this purpose, after integrating the top-floor and shop-floor data obtained from various enterprise information systems, a deep learning model was applied to predict the process outcomes. Since this study aims to operationalize the delivered predictive insights by embedding them into decision-making processes, it is essential to generate relevant explanations for domain experts. To this end, two complementary local post-hoc explanation approaches, Shapley values and Individual Conditional Expectation (ICE) plots are adopted, which are expected to enhance the decision-making capabilities by enabling experts to examine explanations from different perspectives. After assessing the predictive strength of the applied deep neural network with relevant binary classification evaluation measures, a discussion of the generated explanations is provided.

研究の動機と目的

• 製造業で使用される予測的プロセスモニタリングシステムにおける解釈可能性の欠如に対処すること。
• 複雑な機械学習予測とドメインエキスパートが活用可能なインサイトの間のギャップを埋めること。
• 説明可能な出力をリアルワールドのプロセス計画意思決定に統合することで、予測分析を運用可能にする。
• ローカル後処理説明手法の有効性が、エキスパートの信頼性と意思決定品質をどのように向上させるかを評価すること。
• XAI技術—シェープリー値とICEプロット—が産業的プロセスモニタリングの文脈で実用的であることを示すこと。

提案手法

• エンタープライズ情報システムから得られるトップフロアおよびショプフロアのデータを統合し、プロセスモニタリング用の統合データパイプラインを構築する。
• 統合データ上で深層ニューラルネットワークを学習させ、高い精度でプロセスの結果を予測する。
• 個々の予測におけるローカル特徴重要度を計算するためにシェープリー値を適用し、各入力の寄与度を定量化する。
• 特定のインスタンスにおいて入力特徴の変化がモデル出力に与える影響を可視化するために、個別条件期待（ICE）プロットを生成する。
• 両方の説明手法を組み合わせ、グローバルな特徴影響（シェープリー）とローカルな特徴行動（ICE）の補完的視点を提供する。
• AUC、精度、再現率、F1スコアなどの標準的なバイナリ分類指標を用いて予測モデルの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ローカル後処理説明は、予測的プロセスモニタリングにおけるディープラーニングモデルの解釈性をどのように向上させるか？
• RQ2 シェープリー値とICEプロットは、ドメインエキスパートがモデル予測を理解し信頼するのをどの程度支援するか？
• RQ3 プロセスマイニング、機械学習、XAI手法の統合は、製造プロセス計画における実用的インサイトをもたらすことができるか？
• RQ4 シェープリー値とICEの2つの説明手法は、プロセスデータに有意義なパターンを明らかにする能力において、どのように比較されるか？
• RQ5 説明可能な予測分析の実用的影響は、産業現場における意思決定にどのようなものか？

主な発見

• 深層ニューラルネットワークは優れた予測性能を達成し、評価指標が高AUC、高精度、高再現率、高F1スコアを示しており、プロセス結果予測の信頼性を確認した。
• シェープリー値は信頼性の高いローカル特徴重要度スコアを提供し、エキスパートが個々の予測において最も影響力のあるプロセス変数を特定できるようにした。
• ICEプロットは、グローバルな説明では見えない非線形的かつ条件依存的な影響を明らかにした、入力特徴と予測出力の洗練されたインスタンス固有の関係を明らかにした。
• シェープリー値とICEプロットの組み合わせにより、補完的かつ包括的なインサイトが得られた：シェープリーは全体的な特徴影響を、ICEはローカルな行動をそれぞれ提供し、診断能力が向上した。
• エキスパートは説明を解釈し、それらに基づいて意思決定を行うことができ、プロセス計画の場面で自信と意思決定品質が向上した。
• 本フレームワークは、説明可能なインサイトをリアルワールドの製造意思決定ワークフローに統合することで、予測分析の運用化に成功した。