[논문 리뷰] timeXplain -- A Framework for Explaining the Predictions of Time Series Classifiers

Felix Mujkanovic, Vanja Doskoč외 3명|arXiv (Cornell University)|2020. 07. 15.

Time Series Analysis and Forecasting참고 문헌 23인용 수 9

한 줄 요약

timeXplain는 시계열 분류기의 모델에 종속되지 않고 후행적으로 해석하는 프레임워크로, 시간, 주파수 및 통계 도메인에서 도메인 특화 매핑을 사용한 SHAP 기반의 변형을 적용한다. 기준 방법보다 더 높은 설명 정확도를 달성하며, CAM 및 SAX-VSM과 같은 모델 전용 방법과도 맞먹는 성능을 보이며, 특히 샘플 교체와 배경 세트 클래스 분할 기법을 사용할 경우 뛰어난 성능을 발휘한다.

ABSTRACT

Modern time series classifiers display impressive predictive capabilities, yet their decision-making processes mostly remain black boxes to the user. At the same time, model-agnostic explainers, such as the recently proposed SHAP, promise to make the predictions of machine learning models interpretable, provided there are well-designed domain mappings. We bring both worlds together in our timeXplain framework, extending the reach of explainable artificial intelligence to time series classification and value prediction. We present novel domain mappings for the time domain, frequency domain, and time series statistics and analyze their explicative power as well as their limits. We employ a novel evaluation metric to experimentally compare timeXplain to several model-specific explanation approaches for state-of-the-art time series classifiers.

연구 동기 및 목표

• 시계열 분류기의 해석 가능하고 모델에 종속되지 않은 설명 방법의 부족을 해결하기 위해.
• 시간 도메인, 주파수 도메인 및 시계열 통계에 대한 도메인 매핑을 설계하여 SHAP 기반 설명을 시계열에 확장하기 위해.
• 이러한 매핑이 지역적 설명을 충실하게 생성하는 데 있어 설명력과 한계를 평가하기 위해.
• 여러 최신 기술 기반 분류기에서 timeXplain의 설명 정확도를 모델 전용 방법과 비교하기 위해.
• 시계열 예측의 지역적 설명을 위한 재사용 가능하고 오픈소스 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 모델에 종속되지 않은 지역적 설명을 위해 SHAP의 Kernel SHAP를 사용하며, 샘플 입력 주변에서 분류기를 쿼리한다.
• 세 가지 도메인 매핑을 도입한다: 시간 슬라이스 기반(시간 도메인 사용), 주파수 대역 기반(푸리에 변환 사용), 통계 특징 기반(요약 통계 사용).
• 합성 교체를 통해 변형을 적용한다: 전역 평균, 전역 노이즈, 국소 평균, 국소 노이즈, 또는 배경 세트에서의 샘플 교체.
• 배경 세트 클래스 분할을 적용하여 클래스별 분포 특성을 유지함으로써 설명 정확도를 향상시킨다.
• 모델의 실제 예측 행동과 설명이 얼마나 잘 일치하는지 측정하기 위해 새로운 평가 지표인 DTW 간격 정확도를 도입한다.
• 결과의 안정성을 확보하기 위해 10회의 반복 평균(각 반복당 1000회 변형)을 사용하여 설명을 생성한다.

실험 결과

연구 질문

• RQ1 시간, 주파수, 통계 도메인의 다양한 매핑 방식이 시계열 분류기의 설명 정확도와 해석 가능성에 어떤 영향을 미치는가?
• RQ2 timeXplain의 설명 방법이 CAM 및 SAX-VSM과 같은 모델 전용 방법과 비교해 상대적으로 어떤 성능을 보이는가?
• RQ3 배경 세트 클래스 분할이 timeXplain의 설명 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 변형 전략(예: 샘플 교체, 전역 노이즈) 중에서 가장 충실하고 해석 가능한 설명을 도출하는 것은 무엇인가?
• RQ5 timeXplain의 각 도메인 매핑이 내재한 가정과 한계는 무엇인가?

주요 결과

• 샘플 교체와 배경 세트 클래스 분할을 적용한 timeXplain는 대부분의 분류기에서 평균 DTW 간격 정확도가 가장 높게 나타나 전역 평균 및 노이즈 교체보다 뛰어난 성능을 보였다.
• ResNet의 경우, 오직 샘플 교체만이 모델 전용 CAM 설명 방법의 정확도를 따라잡는다.
• 배경 세트 클래스 분할은 모든 분류기와 변형 유형에서 일관되게 설명 정확도를 향상시킨다.
• 전역 노이즈 교체는 짧은 간격 길이에서 성능이 열악한 편이지만, 샘플 교체의 경우 다양한 간격 길이에서 높은 정확도를 유지한다.
• 국소 평균 및 국소 노이즈 변형은 너무 많은 구조적 정보를 유지하여 변형 다양성이 부족해 정확도가 낮아진다.
• 샘플 교체를 사용한 timeXplain는 특히 ResNet 및 InceptionTime와 같은 복잡한 모델에서 모델 전용 방법인 CAM 및 SAX-VSM을 뛰어넘는 정확도를 보인다.