[논문 리뷰] Benchmarking Deep Learning Interpretability in Time Series Predictions

Aya Abdelsalam Ismail, Mohamed K. Gunady외 2명|arXiv (Cornell University)|2020. 10. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 40인용 수 87

한 줄 요약

이 논문은 다변량 시계열에서 RNN, TCN, 트랜스포머에 걸쳐 주의도 기반 해석 방법을 벤치마크하고, 시간-특징 혼합으로 인한 체계적 실패를 확인하며, 설명을 개선하기 위해 Temporal Saliency Rescaling (TSR)을 제안한다.

ABSTRACT

Saliency methods are used extensively to highlight the importance of input features in model predictions. These methods are mostly used in vision and language tasks, and their applications to time series data is relatively unexplored. In this paper, we set out to extensively compare the performance of various saliency-based interpretability methods across diverse neural architectures, including Recurrent Neural Network, Temporal Convolutional Networks, and Transformers in a new benchmark of synthetic time series data. We propose and report multiple metrics to empirically evaluate the performance of saliency methods for detecting feature importance over time using both precision (i.e., whether identified features contain meaningful signals) and recall (i.e., the number of features with signal identified as important). Through several experiments, we show that (i) in general, network architectures and saliency methods fail to reliably and accurately identify feature importance over time in time series data, (ii) this failure is mainly due to the conflation of time and feature domains, and (iii) the quality of saliency maps can be improved substantially by using our proposed two-step temporal saliency rescaling (TSR) approach that first calculates the importance of each time step before calculating the importance of each feature at a time step.

연구 동기 및 목표

• 다변량 시계열에서 일반적인 주의도 방법이 시간에 걸친 정보를 얼마나 잘 식별하는지 평가합니다.
• RNN, TCN, Transformer와 같은 신경망 아키텍처가 주의도 맵의 품질에 미치는 영향을 평가합니다.
• 확실한 안내특성을 가진 합성 벤치마크를 개발하여 설명의 정밀도와 재현율을 정량화합니다.
• 시간과 특징 관련성을 분리하여 시계열 주의도 맵을 개선하는 실용적 방법(TSR)을 제안합니다.

제안 방법

• LSTM, 입력-셀 주의(attention) 포함 LSTM, TCN, Transformer 아키텍처에서 그래디언트 기반 및 교란 기반 주의 방법을 비교합니다.
• 시간과 특징에 걸쳐 분포된 알려진 유용한 특징을 가진 합성 다변량 시계열 데이터 세트를 설계합니다.
• saliency-identified features를 점진적으로 마스킹하고 정확도 하락을 측정하여 정밀도/재현율 지표로 평가합니다.
• Temporal Saliency Rescaling (TSR): 먼저 각 시간 단위를 마스킹하여 시간 관련성을 계산하고, 그런 다음 시간 임계값 이상인 시간 단위 내의 특징 관련성을 계산하며, 최종 점수는 시간 관련성과 특징 관련성의 곱으로 산출합니다.
• TSR의 알고리즘적 설명(Algorithm 1)을 제공하고 주의도 품질에 미치는 영향을 보고합니다.
• 타임시리즈 데이터를 이미지나 단변량/시간 확장 시계열로 취급하는 경우와의 비교 연구를 수행합니다.

실험 결과

연구 질문

• RQ1 표준 주의도 방법이 일반적인 신경망 아키텍처에서 다변량 시계열의 시간에 따른 특징 중요도를 안정적으로 식별합니까?
• RQ2 아키텍처 선택(RNN, TCN, Transformer)이 시계열의 주의도 맵 품질에 어떤 영향을 줍니까?
• RQ3 모델 예측에 영향을 주지 않으면서 포스트-호크 시간적 분리(TSR)가 설명의 충실도를 향상시킬 수 있습니까?
• RQ4 TSR를 적용할 때 해석 품질과 계산 비용 간의 균형은 어떠합니까?
• RQ5 데이터를 이미지로 처리한 경우와 시계열 고유 표현으로 처리한 경우 주의도 평가에 차이가 있습니까?

주요 결과

• 대부분의 주의도 방법은 모델이 높은 정확도를 달성하더라도 다변량 시계열에 대한 고품질 해석을 생성하지 못합니다.
• 주요 시간 단계를 자주 강조하지만, 해당 단계 내의 어떤 특징이 실제로 유용한지 구분하기 어렵습니다.
• 모델 아키텍처는 주의도 품질에 상당한 영향을 미치며, 때로는 주의도 방법 선택보다 큰 차이를 보입니다.
• 두 단계로 구성된 Temporal Saliency Rescaling(TSR) 접근법은 방법과 아키텍처 전반에서 주의도 품질을 크게 향상시키며, 단점도 있습니다. 단점은 계산 비용이 증가합니다.
• TSR은 Gradient 주의도에 적용했을 때 벤치마크 지표들 중 간단한 기준선들 가운데 최고 성능을 보이며, 데이터셋 간에도 강건성을 보입니다.