[논문 리뷰] Local Post-Hoc Explanations for Predictive Process Monitoring in Manufacturing

Nijat Mehdiyev, Peter Fettke|arXiv (Cornell University)|2020. 09. 22.

Fault Detection and Control Systems참고 문헌 66인용 수 11

한 줄 요약

이 논문은 제조 분야의 예측적 프로세스 모니터링을 위한 국소 후행 해석 프레임워크를 제안한다. 이는 프로세스 마이닝, 딥 러닝, 해석 가능성 있는 인공지능(XAI)을 통합하여 개발되었다. 연구는 셰플리 값(Shapley values)과 개별 조건 기대(ICE) 플롯을 활용하여 도메인 전문가가 활용할 수 있는 해석 가능한 통찰을 제공하며, 설명 가능한 예측 분석을 통해 프로세스 기획의 의사결정을 크게 향상시킨다.

ABSTRACT

This study proposes an innovative explainable predictive quality analytics solution to facilitate data-driven decision-making for process planning in manufacturing by combining process mining, machine learning, and explainable artificial intelligence (XAI) methods. For this purpose, after integrating the top-floor and shop-floor data obtained from various enterprise information systems, a deep learning model was applied to predict the process outcomes. Since this study aims to operationalize the delivered predictive insights by embedding them into decision-making processes, it is essential to generate relevant explanations for domain experts. To this end, two complementary local post-hoc explanation approaches, Shapley values and Individual Conditional Expectation (ICE) plots are adopted, which are expected to enhance the decision-making capabilities by enabling experts to examine explanations from different perspectives. After assessing the predictive strength of the applied deep neural network with relevant binary classification evaluation measures, a discussion of the generated explanations is provided.

연구 동기 및 목표

• 제조 분야에서 사용되는 예측적 프로세스 모니터링 시스템의 해석 가능성 부족 문제를 해결하기 위해.
• 복잡한 머신러닝 예측과 도메인 전문가가 활용할 수 있는 실질적 통찰 사이의 격차를 메우기 위해.
• 해석 가능한 출력을 실제 프로세스 기획 의사결정에 통합함으로써 예측 분석을 실무에 적용하기 위해.
• 국소 후행 해석 방법의 효과성을 평가하여 전문가의 신뢰도와 의사결정 품질 향상 여부를 확인하기 위해.
• XAI 기법—셰플리 값과 ICE 플롯—이 산업적 프로세스 모니터링 환경에서 실용적으로 어떻게 기여하는지 입증하기 위해.

제안 방법

• 기업 정보 시스템에서 오는 최상위층 및 공장 현장 데이터를 통합하여 프로세스 모니터링을 위한 통합 데이터 파이프라인을 구축한다.
• 통합된 데이터를 기반으로 딥 네ural 네트워크를 훈련시어 높은 정확도로 프로세스 결과를 예측한다.
• 개별 예측에 대해 국소적 특성 중요도를 계산하기 위해 셰플리 값을 적용하여 각 입력의 기여도를 정량화한다.
• 특정 인스턴스에서 입력 특성의 변화가 모델 출력에 미치는 영향을 시각화하기 위해 개별 조건 기대(ICE) 플롯을 생성한다.
• 두 가지 해석 기법을 결합하여 상호보완적인 시 perspectiv을 제공한다—셰플리 값은 전반적인 특성 영향을, ICE 플롯은 국소적 특성 행동을 각각 반영한다.
• 표준 이진 분류 평가 지표(예: AUC, 정밀도, 재현율, F1-스코어)를 사용하여 예측 모델의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 국소 후행 해석은 예측적 프로세스 모니터링에서 딥 러닝 모델의 해석 가능성에 어떻게 기여하는가?
• RQ2 셰플리 값과 ICE 플롯은 도메인 전문가가 모델 예측을 이해하고 신뢰하는 데 얼마나 효과적인가?
• RQ3 프로세스 마이닝, 머신러닝, XAI 기법의 통합은 제조 프로세스 기획에서 실질적인 통찰을 이끌어낼 수 있는가?
• RQ4 셰플리 값과 ICE 플롯은 프로세스 데이터에서 의미 있는 패턴을 드러내는 데 어떤 정도의 능력을 가지는가?
• RQ5 해석 가능한 예측 분석은 산업 현장의 의사결정에 실질적으로 어떤 영향을 미치는가?

주요 결과

• 딥 네URAL 네트워크는 높은 AUC, 정밀도, 재현율, F1-스코어를 기록하여 강력한 예측 성능을 보였으며, 이는 프로세스 결과 예측의 신뢰성을 확인한다.
• 셰플리 값은 신뢰할 수 있는 국소적 특성 중요도 점수를 제공하여 전문가가 개별 예측에서 가장 영향력 있는 프로세스 변수를 식별하는 데 기여했다.
• ICE 플롯은 입력 특성과 예측 결과 간의 세밀하고 인스턴스 기반의 관계를 드러내어 글로벌 해석에서는 보이지 않는 비선형성 및 조건부 영향을 발견했다.
• 셰플리 값과 ICE 플롯의 조합은 상호보완적인 통찰을 제공한다—셰플리 값은 전반적인 특성 영향을, ICE 플롯은 국소적 행동을 반영하여 진단 능력을 향상시켰다.
• 전문가들은 제공된 해석을 이해하고 활용할 수 있었으며, 이는 프로세스 기획 시나리오에서 신뢰도와 의사결정 품질 향상을 보여주었다.
• 이 프레임워크는 실질적인 제조 의사결정 워크플로우에 해석 가능한 통찰을 통합함으로써 예측 분석의 실무 적용을 성공적으로 이행했다.