[논문 리뷰] TSInsight: A local-global attribution framework for interpretability in time-series data

Shoaib Ahmed Siddiqui, Dominique Mercier외 2명|arXiv (Cornell University)|2020. 04. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 4

한 줄 요약

TSInsight는 깊이 학습 분류기와 희소성 정규화된 오토인코더를 통합하여 시간시계열 해석 가능성에 대한 새로운 국소-전역 기여도 프레임워크를 제안한다. 예측 정확도와 주요 특징의 복원을 동시에 최적화함으로써, 입력 공간 압축과 함께 개별 인스턴스 및 모델 전반의 설명을 가능하게 하여 8개의 데이터셋에서 뛰어난 해석 가능성과 함께 우수한 성능을 달성한다.

ABSTRACT

With the rise in the employment of deep learning methods in safety-critical scenarios, interpretability is more essential than ever before. Although many different directions regarding interpretability have been explored for visual modalities, time-series data has been neglected with only a handful of methods tested due to their poor intelligibility. We approach the problem of interpretability in a novel way by proposing TSInsight where we attach an auto-encoder to the classifier with a sparsity-inducing norm on its output and fine-tune it based on the gradients from the classifier and a reconstruction penalty. TSInsight learns to preserve features that are important for prediction by the classifier and suppresses those that are irrelevant i.e. serves as a feature attribution method to boost interpretability. In contrast to most other attribution frameworks, TSInsight is capable of generating both instance-based and model-based explanations. We evaluated TSInsight along with 9 other commonly used attribution methods on 8 different time-series datasets to validate its efficacy. Evaluation results show that TSInsight naturally achieves output space contraction, therefore, is an effective tool for the interpretability of deep time-series models.

연구 동기 및 목표

• 안전이 중요한 도메인(예: 헬스케어 및 자율주행 시스템)에서 딥러닝에 대한 해석 가능한 방법의 부족을 해결하기 위해.
• 기존 기여도 방법이 개별 예측에만 집중하는 데에 한계가 있음을 고려해, 개별 예측 기반 및 모델 기반 설명을 모두 제공하는 통합 프레임워크를 개발하기 위해.
• 오토인코더 출력에 희소성 유도 노름을 적용하여 입력 공간 압축을 유도함으로써 특징의 관련성과 이해 가능성 향상을 통해 해석 가능성 향상을 위해.
• 다양한 시간시계열 데이터셋에서 본 방법을 평가하고 9개의 기준 기여도 기법과 철저히 비교하기 위해.
• 본 방법이 일반 적용 가능성과 입력 변형에 대한 강건성과 같은 즉시 사용 가능한 성질을 보여주도록 하기 위해.

제안 방법

• 딥러닝 분류기와 변동성 오토인코더(VAE)가 결합되며, 분류기의 기울기와 복원 손실을 함께 사용하여 공동으로 미세조정된다.
• 오토인코더의 출력에 희소성 유도 노름(L1 등)을 적용하여, 분류기의 예측에 관련된 특징만 복원하도록 모델을 유도한다.
• 예측과 관련되거나 인과관계가 있는 특징을 유지하고, 관련 없거나 노이즈가 많은 성분은 억제함으로써 최적화 과정이 특징을 보존한다.
• 개별 입력에 대해 최적화를 수행함으로써 개별 인스턴스 기반 설명을, 전체 데이터셋에 대해 최적화를 수행함으로써 모델 기반 설명을 가능하게 하여 이중 설명 모드를 제공한다.
• 오토인코더의 야코비안 스펙트럼 분석을 통해 입력 공간 압축을 검증하며, 이는 모델이 비정보성 방향을 억제하는 방식으로 압축을 학습하고 있음을 시사한다.
• CNN 및 LSTM과 같은 다양한 백본 아키텍처와 호환되며, 아키텍처의 일반성과 함께 성능을 입증한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 시간시계열 딥러닝 모델에 대해 개별 인스턴스 기반 및 모델 전반의 설명을 동시에 생성할 수 있는가?
• RQ2 오토인코더 출력에 희소성 유도 노름을 통합함으로써 시간시계열 데이터에서 기여도 추정과 해석 가능성은 향상되는가?
• RQ3 TSInsight는 어느 정도의 입력 공간 압축을 달성하는가? 이는 모델의 해석 가능성 향상과 어떻게 관련되는가?
• RQ4 다양한 시간시계열 데이터셋에서 TSInsight는 9개의 기존 기여도 기법과 비교해 기여도 추정 정확도와 설명 타당성 측면에서 어떻게 성과를 내는가?
• RQ5 TSInsight의 즉시 사용 가능한 성질, 예를 들어 일반 적용 가능성과 다양한 모델 아키텍처에 대한 강건성은 어떠한가?

주요 결과

• TSInsight는 8개의 시간시계열 데이터셋 전반에서 9개의 기준 기법보다 뛰어난 설명 품질을 보이며 가장 타당성 있고 경쟁력 있는 기여도 추정을 달성했다.
• 오토인코더의 평균 야코비안의 특이값이 급격히 감소함으로써, 상당한 입력 공간 압축이 이루어졌음을 확인하였으며, 이는 비정보성 방향의 억제를 시사한다.
• CNN 및 LSTM 아키텍처에서 둘 다 효과적으로 주요 특징을 추출함으로써 일반 적용 가능성을 입증하였으며, 특징 기여도 패턴이 아키텍처의 행동과 일치함을 확인하였다(예: LSTM에서는 마지막 시점에서 기여도가 최고조절됨).
• 억제 테스트 결과, 상위 기여 특징을 억제함으로써 예측 신뢰도가 효과적으로 낮아졌으며, 이는 관련 입력 성분에 민감함을 확인한다.
• 전체 데이터셋에 대해 최적화를 수행함으로써 자연스럽게 모델 기반 설명을 생성할 수 있었으며, 데이터 분포 전반에 걸친 특징 중요도에 대한 글로벌 통찰을 가능하게 하였다.
• 입력 공간 압축 덕분에 TSInsight는 약간의 공격에 대한 강건성 향상을 달성하였지만, 데이터셋 간으로 성능 향상이 일관되지 않으며, 항상 뚜렷한 강점은 아니었다.