[논문 리뷰] Diverse Counterfactual Explanations for Anomaly Detection in Time Series

Déborah Sulem, Michele Donini외 7명|arXiv (Cornell University)|2022. 03. 21.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 시계열 이상 탐지에서 모델에 종속되지 않는 방법을 제안하며, 이상 시계열의 다수의 변형된 버전을 생성하여 모델이 이를 정상으로 분류하도록 함으로써 다양한 역행성 설명을 생성한다. 이 방법은 타당성, 타당성, 다양성을 확보하기 위해 확률적 예측과 기울기 기반 최적화를 사용하며, 특히 고차원 설정에서 희박한 변형을 통해 해석 가능성의 향상을 크게 개선한다.

ABSTRACT

Data-driven methods that detect anomalies in times series data are ubiquitous in practice, but they are in general unable to provide helpful explanations for the predictions they make. In this work we propose a model-agnostic algorithm that generates counterfactual ensemble explanations for time series anomaly detection models. Our method generates a set of diverse counterfactual examples, i.e, multiple perturbed versions of the original time series that are not considered anomalous by the detection model. Since the magnitude of the perturbations is limited, these counterfactuals represent an ensemble of inputs similar to the original time series that the model would deem normal. Our algorithm is applicable to any differentiable anomaly detection model. We investigate the value of our method on univariate and multivariate real-world datasets and two deep-learning-based anomaly detection models, under several explainability criteria previously proposed in other data domains such as Validity, Plausibility, Closeness and Diversity. We show that our algorithm can produce ensembles of counterfactual examples that satisfy these criteria and thanks to a novel type of visualisation, can convey a richer interpretation of a model's internal mechanism than existing methods. Moreover, we design a sparse variant of our method to improve the interpretability of counterfactual explanations for high-dimensional time series anomalies. In this setting, our explanation is localised on only a few dimensions and can therefore be communicated more efficiently to the model's user.

연구 동기 및 목표

• 복잡한 딥 러닝 모델이 시계열에서 탐지한 이상 현상에 대해 실행 가능하고 해석 가능한 설명이 부족한 문제를 해결하기 위해.
• 입력에 대한 최소한의 변화가 모델이 시계열을 정상으로 분류하도록 하는 역행성 설명을 생성하기 위해.
• 모든 다른 미분 가능한 이상 탐지 모델에 적용 가능하며, 원본 입력에 가까운 동시에 다양하고 타당한 설명을 보장하기 위해.
• 고차원 다변량 시계열에서의 해석 가능성을 향상시키기 위해 일부 주요 차원에만 변화를 국한하는 희박한 변형을 도입하기 위해.
• 실제 데이터셋에서 타당성, 타당성, 근접성, 다양성 등의 다양한 설명 기준을 평가하기 위해.

제안 방법

• 이상 시계열 입력을 변형하여 모델이 이를 정상으로 분류하는 역행성 앙상블을 생성하기 위해 모델에 종속되지 않은 프레임워크를 사용한다.
• 변형 과정을 지도하기 위해 생성 전단계로 확률적 예측(예: DeepVAR)을 사용하여 타당성을 향상시킨다.
• 동적 변형과 거리 제약 조건을 기반으로 한 기울기 기반 최적화 전략을 적용하여 역행성이 원본 시계열에 가까운지 보장한다.
• 일부 차원에만 변형을 제한하는 희박한 변형을 도입하여 고차원 다변량 시계열에서의 해석 가능성을 향상시킨다.
• 예측 이탈 페널티와 입력 거리의 조합을 최적화하는 손실 함수를 사용하며, 트레이드오프 하이퍼파rameter λ를 사용한다.
• 타당성을 평가하기 위해 동적 시간 왜곡(DTW)과 시간적 스무딩 메트릭을 사용하고, 다양성은 상호 역행성 거리로 측정한다.

실험 결과

연구 질문

• RQ1 역행성 설명이 향후 이상 탐지 방지를 위한 실행 가능한 변경 조치를 사용자에게 효과적으로 안내할 수 있는가?
• RQ2 어떻게 시계열 이상 탐지 모델에 대해 다양하고 타당하며 최소한의 변형을 가진 역행성 설명을 생성할 수 있는가?
• RQ3 변형에 희박성을 도입할 경우 고차원 다변량 시계열에서의 해석 가능성은 어느 정도 향상되는가?
• RQ4 기울기 기반 최적화와 샘플링 기반 최적화 전략 간에 타당성, 타당성, 다양성 측면에서 어떤 차이가 있는가?
• RQ5 이 방법은 다양한 딥 러닝 기반 이상 탐지 모델(예: USAD, NCAD)과 실제 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 방법은 다변량 데이터셋에서 USAD 모델에 대해 0%의 실패율을 기록했으며, 희박한 변형이 더 복잡한 NCAD 모델에서 성공률을 향상시켰다.
• FS(특성 중요도 기반) 방법이 USAD 모델에서 가장 현실적인 역행성을 생성하여, Implausibility 1의 경우 1.62, Implausibility 2의 경우 1.49로 가장 낮은 비타당성 점수를 기록했다.
• 기울기 기반 ICE 방법은 USAD에서 가장 높은 거리 점수(31.81)를 기록하여 원본 입력에 매우 가까운 것을 보여주었으며, 낮은 실패율을 유지했다.
• 희박한 DPE 변형은 USAD 모델에서 정밀도 0.68과 재현율 0.07을 기록하여 고차원 데이터에서 이상이 발생한 주요 채널을 정확히 식별했다.
• 이 방법은 모든 지표에서 나태한 기준보다 뚜렷이 뛰어났으며, 나태한 기준은 USAD에서 73.4%, NCAD에서 79.8%의 실패율을 기록했다.
• 다양성은 ICE 방법에서 가장 높았으며(NAVD에서 4639.11), 타당성과 다양성의 균형을 가장 잘 유지한 것은 FS였다.