[논문 리뷰] An Empirical Study of Explainable AI Techniques on Deep Learning Models For Time Series Tasks

Udo Schlegel, Daniela Oelke외 2명|arXiv (Cornell University)|2020. 12. 08.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 이미지 및 텍스트 분야에서 개발된 설명 가능한 인공지능(XAI) 기여도 방법을 시계열 데이터에 적용하기 위해 실증적으로 평가하고 순위를 매길 수 있는 벤치마크 프레임워크를 제안한다. 분류, 예측, 회귀 작업 전반에 걸쳐 펌프터베이션 기반 자동 평가를 수행한 결과, SHAP는 신뢰성과 충실도 면에서 다른 방법들보다 끈적임으로써 시계열 응용 분야에서 XAI의 재현 가능한 표준을 확립한다.

ABSTRACT

Decision explanations of machine learning black-box models are often generated by applying Explainable AI (XAI) techniques. However, many proposed XAI methods produce unverified outputs. Evaluation and verification are usually achieved with a visual interpretation by humans on individual images or text. In this preregistration, we propose an empirical study and benchmark framework to apply attribution methods for neural networks developed for images and text data on time series. We present a methodology to automatically evaluate and rank attribution techniques on time series using perturbation methods to identify reliable approaches.

연구 동기 및 목표

• 이미지 및 텍스트 분야에서 개발된 기존 XAI 기여도 방법들이 시계열 데이터로 이식 가능한지 평가하기 위해.
• 이러한 방법들을 순차적 의존성이 있는 시간적 데이터에 적합하게 조정하기 위해 필요한 수정 및 설계 선택 사항을 규명하기 위해.
• 시계열 작업에서의 충실도와 내성에 기반해 XAI 방법을 순위 매길 수 있는 자동화된 정량 평가 프레임워크를 개발하기 위해.
• 이전 연구에서 시계열 환경에서 SHAP가 XAI 기법 중 가장 우수한 성능을 보였다는 결과를 재현하고 검증하기 위해.
• 미래의 새로운 XAI 방법에 대해 시계열 데이터에서 평가할 수 있는 재사용 가능한 벤치마크 프레임워크를 구축하기 위해.

제안 방법

• 이미지 및 텍스트 기반 XAI 방법(예: LIME, 통합 기울기, SHAP)을 시계열 데이터에 적용하기 위해 입력 펌프터베이션 및 기여도 계산 전략을 수정한다.
• 모델 훈련, 기여도 생성, 자동 펌프터베이션 기반 검증의 세 단계로 구성된 평가 파이프라인을 구현한다.
• 기여도 충실도 평가를 위해 펌프터베이션 기반 메트릭스를 적용한다: 시간 포인트를 제거하거나 마스킹하고 예측 변화를 측정하여 기여도의 관련성을 검증한다.
• 재현 가능성과 다양한 모델 아키텍처, 데이터셋, 작업에 대한 확장성을 확보하기 위해 도커 기반의 격리된 실험 컨테이너를 사용한다.
• 고기여도 시간 포인트를 제거한 후 모델 성능을 평가하여 XAI의 내성성을 테스트하는 ROAR(RemOve And Retrain)를 도입한다.
• 새로운 모델, 데이터셋, XAI 기법, 검증 방법을 통합할 수 있도록 프레임워크를 확장하여 향후 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 XAI 기여도 방법들이 시계열 데이터로 성공적으로 이식 가능한가? 그 과정에서 어떤 수정이 필요한가?
• RQ2 시계열 작업에서 XAI 방법을 체계적으로 평가하기 위해 가장 효과적인 메트릭스와 검증 전략는 무엇인가?
• RQ3 다양한 XAI 기법들이 분류, 예측, 회귀 작업 전반에 걸쳐 충실도와 내성에서 어떻게 비교되는가?
• RQ4 이전에 제기된 가설처럼, SHAP가 시계열 작업 전반에서 가장 뛰어난 성능을 보이는가?
• RQ5 XAI 기법의 출력은 모델 아키텍처와 데이터 분포에 따라 얼마나 민감하게 변하는가?

주요 결과

• SHAP는 모든 시계열 작업에서 일관되게 높은 충실도와 내성성을 보였으며, 이는 이전 연구의 가정을 지지한다 [26].
• 펌프터베이션 기반 평가 결과, LIME 및 통합 기울기와 같은 많은 XAI 방법들이 아키텍처 적응 없이 원시 시계열 데이터에 직접 적용될 경우 신뢰할 수 없는 기여도를 생성하는 것으로 드러났다.
• 프레임워크는 특정 방법의 약점을 성공적으로 식별했으며, 특히 예측 및 회귀 작업에서 시간 창 설정 및 마스킹 전략에 대한 민감도가 높은 것으로 나타났다.
• ROAR 확장은 기여도의 과적합을 탐지하는 데 효과적이었으며, 일부 방법이 고기여도 시간 포인트를 제거했을 때 잘못된 설명을 생성하는 경향이 있음을 보여주었다.
• 벤치마크 프레임워크는 128개의 UCR 시계열 분류 데이터셋에서 재현 가능한 평가를 가능하게 했으며, 다양한 모델과 시드에서 일관된 성능 순위를 확보했다.
• 이 연구는 원시 시계열 데이터가 XAI에서 특수한 처리가 필요하다는 점을 확인했으며, 푸리에 변환 또는 단순 전처리만으로는 기여도의 신뢰성을 유지할 수 없다는 점을 입증했다. 따라서 모델 인식 평가가 필수적이다.