[논문 리뷰] Explainable AI for Time Series via Virtual Inspection Layers

Johanna Vielhaben, Sebastian Lapuschkin외 2명|arXiv (Cornell University)|2023. 03. 11.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 DFT-LRP를 소개하며, 이는 시간 도메인에서의 관련성 점수를 주파수 도메인으로 전파할 수 있도록 허용하는 가상의 점검 레이어를 제공한다. 이는 LRP와 같은 局소 해석 가능성 방법을 시간 시리즈 모델에 적용할 수 있게 하며, 모델 재학습 없이도 주파수 기반의 해석 가능성을 드러낸다. 이 방법은 음성 및 ECG 데이터에서 임의의 상관관계(예: 낮은 주파수의 노이즈)에 의존하는 모델 전략을 폭 드러낸다.

ABSTRACT

The field of eXplainable Artificial Intelligence (XAI) has witnessed significant advancements in recent years. However, the majority of progress has been concentrated in the domains of computer vision and natural language processing. For time series data, where the input itself is often not interpretable, dedicated XAI research is scarce. In this work, we put forward a virtual inspection layer for transforming the time series to an interpretable representation and allows to propagate relevance attributions to this representation via local XAI methods. In this way, we extend the applicability of XAI methods to domains (e.g. speech) where the input is only interpretable after a transformation. In this work, we focus on the Fourier Transform which, is prominently applied in the preprocessing of time series, with Layer-wise Relevance Propagation (LRP) and refer to our method as DFT-LRP. We demonstrate the usefulness of DFT-LRP in various time series classification settings like audio and medical data. We showcase how DFT-LRP reveals differences in the classification strategies of models trained in different domains (e.g., time vs. frequency domain) or helps to discover how models act on spurious correlations in the data.

연구 동기 및 목표

• 시간 시리즈 모델에 대한 이해 가능한 설명이 부족한 문제를 해결하기 위해, 원시적인 시간 포인트가 인간에게 본질적으로 의미가 없는 이유를 다루기 위함.
• LRP와 같은 국소 XAI 방법을 시간 시리즈에 확장하기 위해, 주파수 도메인과 같은 이해 가능한 표현 방식에서의 관련성 전파를 가능하게 하기 위함.
• 시간 시리즈 데이터에서 비의미적인 상관관계(예: 낮은 주파수의 노이즈)에 의존하는 '현명한 하스' 전략과 같은 모델 행동을 탐지하고 진단하기 위함.
• 재학습 없이도 시간 도메인과 주파수 도메인 간의 다양한 입력 표현 방식에서의 모델 결정 전략을 비교할 수 있는 프레임워크를 제공하기 위함.
• 원시 시간 시리즈 특징이 해석하기 어려운 분야, 예를 들어 음성 및 전자 의료 기록에서의 모델 해석 가능성을 보장하기 위함.

제안 방법

• 입력 데이터를 이해 가능한 표현(예: DFT를 통한)으로 매핑하고 원래 도메인으로 다시 매핑하는 두 개의 선형이고 가역적인 변환으로 구성된 가상의 점검 레이어를 도입함.
• 변환된 표현에 대해 레이어별 관련성 전파(LRP)를 적용하여, 주파수 도메인 또는 시간-주파수 도메인에서의 관련성 점수를 이해 가능하게 함.
• DFT와 단기 푸리에 변환(STFT)을 통한 관련성 전파에 대한 닫힌 형태의 표현식을 유도하여 근사 없이 정확한 계산이 가능하게 함.
• 백프로파게이션 기반 LRP를 사용하여, 모델 출력을 통해 가상의 점검 레이어를 거쳐 이해 가능한 도메인으로의 관련성 전파를 수행함.
• 음성 및 ECG 도메인의 시간 시리즈 분류기에서 이 방법을 적용하여 시간, 주파수, 시간-주파수 표현 간의 설명을 비교함.
• 설명 품질 평가를 위해 픽셀 뒤집기 평가를 확장하여 시간, 주파수, 시간-주파수 형식 간의 설명을 비교함.

실험 결과

연구 질문

• RQ1 LRP와 같은 국소 XAI 방법이 주파수 도메인과 같은 이해 가능한 표현 방식으로 입력을 변환함으로써 시간 시리즈에 효과적으로 확장될 수 있는가?
• RQ2 시간 도메인에서 학습된 모델과 주파수 도문에서 학습된 모델의 결정 전략은 어떻게 다를 수 있으며, DFT-LRP는 이러한 차이를 드러낼 수 있는가?
• RQ3 DFT-LRP는 시간 시리즈 모델에서 낮은 주파수의 노이즈와 같은 비의미적인 상관관계에 의존하는 '현명한 하스' 행동을 탐지하고 폭 드러낼 수 있는가?
• RQ4 주파수 도메인에서의 설명이 시간 도메인 설명보다 시간 시리즈 분류에 더 의미 있는 통찰을 제공하는 정도는 어느 정도인가?
• RQ5 재학습 없이도 DFT-LRP를 사용하여 다양한 입력 표현 방식(시간 도메인 vs. 주파수 도메인) 간의 모델 전략을 비교할 수 있는가?

주요 결과

• DFT-LRP는 흰색 노이즈가 첨가된 음성 데이터로 학습된 모델이 말하는 숫자의 기본 주파수보다는 50 Hz 이하의 주파수에 집중하고 있음을 성공적으로 드러내었다. 이는 노이즈에 의존하는 전략을 의미한다.
• 시간 도메인 모델은 노이즈가 첨가된 '0' 샘플의 98%를 '0'으로 분류하며, 이는 재학습 없이 주파수 도메인 설명을 통해만 드러나는 '현명한 하스' 행동임을 시사한다.
• ECG 분류의 경우, DFT-LRP는 모든 클래스에서 테스트 샘플의 44.3%에서 신호의 평균(주파수 k=0)에 집중하고 있으며, 정상 심박수(클래스 0)의 경우 이 비율이 50.1%에 이르며, 이는 임상적으로 중요한 특징이 아닌 비의미적인 상관관계에 의존하고 있음을 나타낸다.
• 음성 분류의 경우, 시간 도메인 모델은 기본 주파수와 고조파를 사용하지만, 주파수 도메인 모델은 기본 주파수에만 집중하며, 이는 서로 다른 결정 전략을 드러낸다.
• 확장된 픽셀 뒤집기 평가를 통해 시간, 주파수, 시간-주파수 도메인 간의 설명을 직접 비교할 수 있었으며, 주파수 도메인 설명이 더 높은 이해 가능성을 제공함을 보였다.
• DFT-LRP는 시간 도메인 설명만으로는 모델의 핵심 행동(예: 노이즈 의존성)을 드러내지 못하며, 주파수 도메인으로의 변환 후에야 이러한 행동이 드러남을 폭 드러냈다.