[논문 리뷰] Towards a Rigorous Evaluation of Explainability for Multivariate Time Series

Rohit Saluja, Avleen Malhi외 3명|arXiv (Cornell University)|2021. 04. 06.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

이 논문은 다변량 시계열 예측에 대해 모델에 종속되지 않는 설명 가능성 기법으로 LIME과 SHAP을 제안하고 평가하며, 인간 평가를 통해 두 방법 모두 일반 사용자들이 모델 예측을 이해하는 데 크게 기여함을 입증한다. 연구 결과, LIME가 SHAP보다 略적으로 더 선호되었으며, 실제 영업 예측 응용 사례에서 신뢰도와 해석 가능성 향상에 기여함을 확인하였다.

ABSTRACT

Machine learning-based systems are rapidly gaining popularity and in-line with that there has been a huge research surge in the field of explainability to ensure that machine learning models are reliable, fair, and can be held liable for their decision-making process. Explainable Artificial Intelligence (XAI) methods are typically deployed to debug black-box machine learning models but in comparison to tabular, text, and image data, explainability in time series is still relatively unexplored. The aim of this study was to achieve and evaluate model agnostic explainability in a time series forecasting problem. This work focused on proving a solution for a digital consultancy company aiming to find a data-driven approach in order to understand the effect of their sales related activities on the sales deals closed. The solution involved framing the problem as a time series forecasting problem to predict the sales deals and the explainability was achieved using two novel model agnostic explainability techniques, Local explainable model-agnostic explanations (LIME) and Shapley additive explanations (SHAP) which were evaluated using human evaluation of explainability. The results clearly indicate that the explanations produced by LIME and SHAP greatly helped lay humans in understanding the predictions made by the machine learning model. The presented work can easily be extended to any time

연구 동기 및 목표

• 다변량 시계열 예측 분야에서 설명 가능성에 대한 철저한 평가 방법의 부족 문제를 해결하기 위해.
• 디지털 컨설팬시의 실제 영업 예측 문제에 대해 모델에 종속되지 않는 설명 가능성 기법—LIME와 SHAP—을 적용하기 위해.
• 비전문가 참가자를 대상으로 한 인간 평가를 통해 설명의 품질을 평가하여 이해 가능성과 신뢰도에 초점을 맞추기 위해.
• LIME와 SHAP가 비전문가가 시계열 맥락에서 모델 예측을 이해하는 데 얼마나 효과적인지 비교하기 위해.
• 다른 예측 및 분류 작업에 일반화할 수 있는 시계열 예측에서의 설명 가능성 평가 프레임워크 수립하기 위해.

제안 방법

• 역사적 영업 및 활동 데이터를 사용하여 영업 예측 문제를 다변량 시계열 회귀 과제로 재정의하였다.
• 국소 해석 가능한 모델-의존적 설명(Loсal Interpretable Model-agnostic Explanations, LIME)을 적용하여 개별 예측에 대한 국소적 특성 중요도 설명을 생성하였다.
• 샤플리 추가 설명(Shapley Additive Explanations, SHAP)을 사용하여 게임 이론 원리에 기반한 특성 기여도를 계산하여 국소적 해석 가능성을 확보하였다.
• 60명의 일반 참가자(사례당 20명)를 대상으로 인간 평가 연구를 설계하여 확인 작업을 통한 설명 품질 평가를 수행하였다.
• 사용자 이해도, 신뢰도, 선호도를 평가하며 정량적 지표와 함께 정성적 피드백도 수집하였다.
• 인지 부담을 관리하고 명확성을 확보하기 위해 설명의 복잡도를 상위 다섯 개의 가장 중요한 특성으로 제한하였다.

Figure 1: Role of explainability in time series forecasting

실험 결과

연구 질문

• RQ1 LIME와 SHAP는 다변량 시계열 예측 모델의 예측을 이해하는 데 있어 일반 사용자의 이해도 향상에 얼마나 효과적인가?
• RQ2 비전문가 사용자들 사이에서 LIME와 SHAP 중 어느 설명 방법이 더 높은 이해도와 더 높은 신뢰도를 이끌어내는가?
• RQ3 설명의 복잡도(예: 특성 수)는 인간의 이해도와 평가에 어떤 영향을 미치는가?
• RQ4 시계열 예측에서 설명 가능성에 대한 인간 평가가 설명 품질 평가의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ5 제안된 프레임워크는 다른 시계열 예측 또는 분류 작업으로 얼마나 일반화될 수 있는가?

주요 결과

• LIME와 SHAP는 모두 일반 사용자들이 시계열 예측 모델의 예측을 이해하고 신뢰하는 능력을 뚜렷이 향상시켰다.
• 참가자들은 설명 덕분에 예측된 딜 수에 가장 큰 영향을 미친 영업 활동을 식별하는 데 도움이 되었다고 보고하였다.
• 사용자 평가에서 LIME가 SHAP보다 略적으로 더 선호되었지만, 표본 수가 적어 통계적으로 확인되지 않았다.
• 인간 평가 결과, 설명은 사용자 모델 출력에 대한 자신감을 높였으며, 실생활 의사결정에서 XAI의 활용을 뒷받침하였다.
• 본 연구는 모델에 종속되지 않는 설명 가능성 기법이 다변량 시계열 예측에 효과적이고 적용 가능하며, 표본이나 이미지 데이터 외의 분야에도 적용 가능하다는 것을 입증하였다.
• 이 프레임워크는 ELI5 및 CIU와 같은 다른 XAI 방법으로 확장 가능하며, 분류 작업이나 도메인 전문가 기반 평가에 적응하여 응용할 수 있다.

Figure 2: Average perspiration in a country against year [ 2 ] .