[논문 리뷰] Explainable Predictive Process Monitoring: A User Evaluation

Williams Rizzi, Marco Comuzzi외 5명|arXiv (Cornell University)|2022. 02. 15.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 연구는 기계학습 전문성 수준이 다른 사용자를 대상으로 사용자 중심 실험을 통해 설명 가능한 예측 프로세스 모니터링(PPM)의 효과를 평가한다. 설명 플롯이 의사결정 지원에 어떻게 기여하는지 분석한다. 결과적으로 플롯은 일반적으로 이해하기 쉽고 유용하지만, 기계학습 전문가들은 더 깊이 있는 이해를 보이며 더 보수적인 판단을 내리지만, 비전문가들은 플롯을 더 실용적으로 활용하는 경향이 있어, 모든 사용자에게 유용성을 높이기 위해 필터링 및 '만약에' 분석과 같은 상호작용 기능이 필요하다는 점을 시사한다.

ABSTRACT

Explainability is motivated by the lack of transparency of black-box Machine Learning approaches, which do not foster trust and acceptance of Machine Learning algorithms. This also happens in the Predictive Process Monitoring field, where predictions, obtained by applying Machine Learning techniques, need to be explained to users, so as to gain their trust and acceptance. In this work, we carry on a user evaluation on explanation approaches for Predictive Process Monitoring aiming at investigating whether and how the explanations provided (i) are understandable; (ii) are useful in decision making tasks;(iii) can be further improved for process analysts, with different Machine Learning expertise levels. The results of the user evaluation show that, although explanation plots are overall understandable and useful for decision making tasks for Business Process Management users -- with and without experience in Machine Learning -- differences exist in the comprehension and usage of different plots, as well as in the way users with different Machine Learning expertise understand and use them.

연구 동기 및 목표

• 예측 프로세스 모니터링에서 설명 플롯이 비즈니스 프로세스 관리 사용자에게 이해 가능할지 조사하기 위해.
• 실제 PPM 시나리오에서 설명 플롯이 사용자의 의사결정 과제를 어떻게 지원하는지 평가하기 위해.
• 사용자 피드백을 기반으로 설명 플롯의 개선점을 특정하기 위해, 특히 상호작용성과 명확성 측면에서.
• 기계학습 전문성 유무에 따라 이해도와 사용 패턴의 차이를 비교하기 위해.

제안 방법

• PPM 분야의 참가자 15명(기계학습 전문가 및 비전문가 포함)을 대상으로 정성적 관찰 사용자 연구를 수행하였다.
• 실제 PPM 시나리오(예측 결과 및 관련 설명 플롯, P1, P2, P3 포함)를 제공하였다.
• 세 가지 유형의 설명 플롯을 사용: 전역적 특성 중요도, 국소적 특성 기여도, 상호작용 기능을 갖춘 필터링/집중 시각화.
• 상호작용 기능 구현: 마우스 온 시 상세 보기, 특정 특성 강조된 집중 시각화, 범례 클릭을 통한 정보 필터링.
• 이해도 질문, 의사결정 과제, 플롯 개선 제안을 통해 데이터를 수집하였다.
• 주제 분석을 통해 이해 방식, 의사결정 행동 패턴, 사용성 제안의 패턴을 분석하였다.

실험 결과

연구 질문

• RQ1 RQ1: 사용자가 예측 프로세스 모니터링 맥락에서 설명 플롯을 어떻게 이해하는가?
• RQ2 RQ2: 설명 플롯이 사용자의 의사결정 과제를 어떻게 지원하는가?
• RQ3 RQ3: 사용자 피드백과 전문성 수준에 기반해 설명 플롯은 어떻게 개선될 수 있는가?

주요 결과

• 모든 참가자, 기계학습 전문성 여부에 관계없이 설명 플롯은 일반적으로 이해 가능하고 의사결정에 유용하다.
• 기계학습 전문가들은 특성 간 상관관계를 더 깊이 이해했지만, 인과적 증거가 부족해 제안 시 더 보수적인 태도를 보였다.
• 비전문가 사용자들은 플롯을 더 실천 가능하게 인식했고, 설명을 바탕으로 프로세스 변경을 제안할 가능성이 더 높았다.
• 참가자들은 일관되게 필터링, 집중 시각화, '만약에' 분석과 같은 상호작용 기능을 요청했으며, 이는 해석 가능성 향상에 기여한다.
• 전역적 특성 중요도와 국소적 인스턴스 수준 설명을 결합한 플롯이 가장 효과적이었으며, 특히 필터링 및 상세 툴팁 정보가 추가된 경우에 더욱 뛰어났다.
• 전문가와 비전문가가 동일한 플롯을 다르게 활용하는 경향이 뚜렷하게 드러났다: 전문가들은 상관관계의 신뢰성에 의문을 제기한 반면, 비전문가들은 실용적 의사결정에 더 신뢰를 두었다.