[논문 리뷰] Temporal Dependencies in Feature Importance for Time Series Predictions

Kin Kwan Leung, Clayton Rooke외 3명|arXiv (Cornell University)|2021. 07. 29.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 시간적 종속성을 고려하여 향후 예측 윈도우에 걸쳐 기능 중요도를 집계함으로써 다변량 시계열에 대한 기능 제거 기반 설명 가능성 방법인 WinIT를 제안한다. WinIT는 합성 및 실세계 데이터셋에서 기존 방법들을 능가하며, 평가 전략 전반에 걸쳐 일관성과 강건성을 향상시킨다. 특히 지연된 기능 영향을 포착하는 데서 두드러진다.

ABSTRACT

Time series data introduces two key challenges for explainability methods: firstly, observations of the same feature over subsequent time steps are not independent, and secondly, the same feature can have varying importance to model predictions over time. In this paper, we propose Windowed Feature Importance in Time (WinIT), a feature removal based explainability approach to address these issues. Unlike existing feature removal explanation methods, WinIT explicitly accounts for the temporal dependence between different observations of the same feature in the construction of its importance score. Furthermore, WinIT captures the varying importance of a feature over time, by summarizing its importance over a window of past time steps. We conduct an extensive empirical study on synthetic and real-world data, compare against a wide range of leading explainability methods, and explore the impact of various evaluation strategies. Our results show that WinIT achieves significant gains over existing methods, with more consistent performance across different evaluation metrics. The code for our work is publicly available at \url{https://github.com/layer6ai-labs/WinIT}.

연구 동기 및 목표

• 시계열 설명 가능성에서 시간적 종속성을 다루는 데 어려움이 있으며, 다양한 시간 단계에서의 기능들이 상호의존적이고 중요도가 시간에 따라 변할 수 있음을 해결하기 위해.
• 시간에 따라 변화하는 기능 중요도를 반영하기 위해 향후 예측 윈도우에 걸쳐 기능의 영향을 집계하는 기능 제거 기반 방법을 개발하기 위해.
• 기능 제거 시 시간적 상관관계를 고려한 보완적인 마스킹 전략을 조사하고 제안하여 시계열 설명 가능성 평가의 강건성을 향상시키기 위해.
• 제안된 WinIT를 지연된 종속성이 제어된 합성 데이터와 실세계 시계열 데이터에 적용하여 최신 기술 대비 뛰어난 성능을 입증하기 위해.
• 공개된 코드와 표준화된 평가 프로토콜을 제공함으로써 시계열 설명 가능성에 대한 재현 가능한 프레임워크를 제공하기 위해.

제안 방법

• WinIT는 기능을 제거했을 때 모델 예측 변화를 기반으로 기능 중요도를 계산하지만, 시간적 종속성을 고려하기 위해 향후 시간 단계 윈도우에 걸쳐 영향을 집계한다.
• 시간 t에서의 기능 관측치 중요도는 예측에 영향을 주는 윈도우 [t, t+N] 동안의 영향을 요약한 점수 i(S)ₐᵇ를 사용하여 정의한다.
• 이 방법은 시간에 걸친 중요도를 요약하기 위해 윈도우 기반 집계 전략을 사용하여 지연 효과를 탐지할 수 있도록 한다. 즉, 기능 변화가 지연되어 예측에 영향을 주는 경우를 포착할 수 있다.
• 정확도 평가를 위해 표준, 균형, 예측 차이 마스킹 등의 다양한 마스킹 전략을 평가하여 평가의 편향을 방지하고 강건성을 확보한다.
• 모델에 종속되지 않는 방법으로, 입력-출력 행동만을 기반으로 하여 어떤 시계열 모델에도 적용 가능하다.
• 중요도 집계의 시간 범위를 제어하기 위해 하이퍼파rameter N(윈도우 크기)을 도입하였으며, 경험적 분석을 통해 다양한 값에서 안정적인 성능을 보임을 확인했다.

실험 결과

연구 질문

• RQ1 동일한 기능의 관측치 간 시간적 종속성을 고려하여 시계열에서 기능 중요도를 어떻게 모델링할 수 있는가?
• RQ2 기능 제거 기반 방법이 시간 지연 후에 영향을 미치는 지연된 영향을 얼마나 잘 포착할 수 있는가?
• RQ3 다양한 마스킹 전략은 시계열 설명 가능성 방법의 평가에 어떤 영향을 미치며, 공정한 비교를 위해 가장 강건한 전략은 무엇인가?
• RQ4 WinIT는 다양한 평가 지표와 실세계 시계열 데이터셋에서 기존의 시각화 기반 방법들을 일관되게 능가하는가?
• RQ5 지연된 영향에 민감하게 반응하면서도 계산 비용을 고려할 수 있도록 윈도우 크기 하이퍼파rameter를 효과적으로 조정할 수 있는가?

주요 결과

• STD 마스킹 하에서 MIMIC-III 생존 예측 작업에서 WinIT는 상위 5퍼센트 중요도 관측치를 사용할 때 AUC가 7.8퍼센트 감소시키며, 모든 베이스라인을 능가한다.
• 지연 스파이크 합성 데이터셋에서 WinIT는 윈도우 크기 N=3일 때 성능이 크게 향상되어 기능 영향의 정확한 두 단계 지연을 포착한다.
• 합성 및 실세계 실험 모두에서 윈도우 크기가 N=3를 초과할 경우 성능가 안정화되어 하이퍼파ram터 선택에 대한 강건성을 보인다.
• WinIT-PD(예측 차이)는 AUC 감소에서 WinIT-KL과 WinIT-JS를 모두 능가하며, K=50일 때 7.6퍼센트 감소를 기록하여 중요도 집계 함수 선택의 중요성을 보여준다.
• 다양한 마스킹 전략에 걸쳐 일관된 성능을 보이며 결과의 변동성이 최소화되어 평가 프로토콜의 변화에 대한 강건성을 입증한다.
• 윈도우 크기 N는 런타임과 선형 관계를 가지며, 다양한 값에 대한 효율적인 하이퍼파ram터 탐색이 가능하다.