[논문 리뷰] What went wrong and when? Instance-wise Feature Importance for Time-series Models

Sana Tonekaboni, Shalmali Joshi외 3명|arXiv (Cornell University)|2020. 03. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 10

한 줄 요약

이 논문은 다변량 시계열 모델에서 각 관측치의 기여도를 측정하여 예측 분포의 변화를 측정하는 데 KL 발산을 사용하는 모델에 종속되지 않는 프레임워크인 FIT (Feature Importance in Time)를 소개한다. 다른 특징들이 관측되지 않은 반사적 조건에서의 변화를 기반으로 한다. 이 방법은 시뮬레이션된 데이터와 실제 임상 데이터에서 상태 기반의 최고 성능을 기록하며, 특히 시간에 따라 변화하는 특징의 영향을 포괄하는 데서 뛰어난 성능을 보인다.

ABSTRACT

Explanations of time series models are useful for high stakes applications like healthcare but have received little attention in machine learning literature. We propose FIT, a framework that evaluates the importance of observations for a multivariate time-series black-box model by quantifying the shift in the predictive distribution over time. FIT defines the importance of an observation based on its contribution to the distributional shift under a KL-divergence that contrasts the predictive distribution against a counterfactual where the rest of the features are unobserved. We also demonstrate the need to control for time-dependent distribution shifts. We compare with state-of-the-art baselines on simulated and real-world clinical data and demonstrate that our approach is superior in identifying important time points and observations throughout the time series.

연구 동기 및 목표

• 의료와 같은 고위험 분야에서 시계열 블랙박스 모델에 특화된 개별 관측치 기반의 특징 중요도 방법이 부족한 문제를 해결하기 위해.
• 특징 기여도가 시간에 따라 어떻게 변화하는지를 명시적으로 모델링하여 특징을 정적인 것으로 간주하지 않고 시간에 따라 변화하는 기여도를 포착하기 위해.
• 특징의 집합에 대한 누적 중요도 평가를 가능하게 하여, 임상 환경에서 여러 특징이 함께 변동하여 예측에 영향을 주는 것을 고려하기 위함이다.
• 모든 블랙박스 시계열 모델과 호환되는 모델에 종속되지 않는 프레임워크를 개발하여 실시간 설명을 지원하기 위함이다.

제안 방법

• FIT는 예측 분포의 변화에 관측치가 기여하는 정도를 KL 발산을 통해 측정함으로써 특징 중요도를 정의한다. 이는 전체 예측 분포와 관측치가 고립된 반사적 조건에서의 분포 간의 KL 발산으로 측정된다.
• 프레임워크는 시계열 데이터의 결합 분포를 학습하기 위해 생성 모델을 사용하여 특징 하위집합에 대한 반사적 분포를 정확하게 근사할 수 있도록 한다.
• 중요도 점수는 각 시간 단계에서 특징 하위집합에 조건부로 설정된 예측 분포를 전체 분포와 비교하여 계산되며, 이는 시간에 따른 변화를 포착한다.
• 개별 특징뿐만 아니라 특징의 집합에 대한 중요도를 지원하여, 그룹의 특징이 모델 출력의 변화에 얼마나 잘 기여하는지 평가할 수 있다.
• FIT는 모든 블랙박스 시계열 모델(딥러닝 및 순환 아키텍처 포함)에 적용 가능한 모델에 종속되지 않는 프레임워크이다.
• 예측 분포의 시간에 따른 변화를 모델링함으로써 시간에 따라 변화하는 분포의 이동을 고려한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 특징 기여도를 고려하는 시계열 모델에서 개별 관측치 기반의 특징 중요도를 어떻게 할당할 수 있는가?
• RQ2 특징 또는 특징의 집합이 시간에 따라 예측 분포의 변화에 얼마나 기여하는지 정량화할 수 있는가?
• RQ3 시간적 역학을 고려함으로써 시계열 모델에서 특징 중요도의 신뢰성과 해석 가능성은 어떻게 향상되는가?
• RQ4 모델에 종속되지 않는 프레임워크가 기울기 기반 및 주의 기반 방법보다 중요한 시간점과 특징 하위집합을 더 잘 식별할 수 있는가?
• RQ5 FIT는 실제 임상 및 시뮬레이션 시계열 데이터에서 기존의 기준 방법들과 비교하여 어떻게 성능을 내는가?

주요 결과

• FIT는 시뮬레이션된 데이터와 실제 임상 시계열 데이터 모두에서 중요한 시간점과 관측치를 정확히 국소화하는 데 상태 기반의 최고 성능을 기록한다.
• 이 방법은 예측에 영향을 주는 공동으로 작용하는 중요한 특징 하위집합을 성공적으로 식별하며, 여러 특징이 함께 변동하여 결과에 영향을 주는 임상 의사결정에서 필수적이다.
• 생성 모델을 통해 시간적 역학을 모델링함으로써 FIT는 편향 기반 또는 기울기 기반 방법보다 더 정확한 반사적 근사치를 제공한다.
• FIT의 중요도 점수는 도메인 외부의 변형에 대해 안정적이며, 전통적인 시각화 및 편향 기반 방법에서 관찰되는 불안정성과는 거리가 있다.
• 프레임워크는 각 시간 단계에서 중요도 점수를 할당함으로써 실시간 설명을 지원하며, 동적 데이터 수집 및 모니터링 응용에 적합하다.
• 실험 결과는 FIT의 KL 발산 기반 측정치가 의미 있는 분포 변화를 효과적으로 포착하여 더 신뢰할 수 있고 해석 가능한 설명을 이끌어낸다는 것을 보여준다.