[논문 리뷰] Towards Meaningful Anomaly Detection: The Effect of Counterfactual Explanations on the Investigation of Anomalies in Multivariate Time Series

Max Schemmer, Joshua Holstein외 3명|arXiv (Cornell University)|2023. 02. 07.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 연구는 autoencoder 기반 이상 탐지에 대한 반사실적 설명이 다변량 시계열의 인간 이상 조사에 도움이 됨을 NYC 택시 데이터에 대한 행동 연구로 시연한다.

ABSTRACT

Detecting rare events is essential in various fields, e.g., in cyber security or maintenance. Often, human experts are supported by anomaly detection systems as continuously monitoring the data is an error-prone and tedious task. However, among the anomalies detected may be events that are rare, e.g., a planned shutdown of a machine, but are not the actual event of interest, e.g., breakdowns of a machine. Therefore, human experts are needed to validate whether the detected anomalies are relevant. We propose to support this anomaly investigation by providing explanations of anomaly detection. Related work only focuses on the technical implementation of explainable anomaly detection and neglects the subsequent human anomaly investigation. To address this research gap, we conduct a behavioral experiment using records of taxi rides in New York City as a testbed. Participants are asked to differentiate extreme weather events from other anomalous events such as holidays or sporting events. Our results show that providing counterfactual explanations do improve the investigation of anomalies, indicating potential for explainable anomaly detection in general.

연구 동기 및 목표

• 설명이 탐지뿐만 아니라 이후의 이상 조사에 어떻게 도움이 되는지 동기를 부여한다.
• 반사실적 설명이 이상 조사 성능을 향상시키는지 평가한다.
• 설명이 이상 조사 중 불필요한 인지 부담을 줄이는지 평가한다.
• 인간 중심 연구를 통해 다변량 시계열에서 반사실적 설명의 적용성을 입증한다.

제안 방법

• LSTM 계층과 재구성 오차를 사용하여 다변량 시계열에 대한 설명 가능한 오토인코더를 개발한다.
• XAI 프레임워크에 적합한 클래스 확률을 생성하도록 반사실적 설명 계층으로 오토인코더를 확장한다.
• CoMTE 프레임워크를 적용하여 특징 변화가 최소화되도록 반사실적 설명을 생성한다.
• NYC 택시 데이터에서 추출한 여덟 개의 이상 예제를 사용한 피험자 간 온라인 실험을 설계하고 수행한다.
• 대조 조건(반사실적 없이 ADS)과 반사실적 설명 조건을 비교한다.
• 효과성(정확도), 효율성(작업 시간), 및 불필요한 인지 부담을 측정한다.

실험 결과

연구 질문

• RQ1 이상 탐지에 대한 설명이 이상 조사를 향상시킬 수 있는가?
• RQ2 반사실적 설명이 이상 조사 효율성을 향상시키는가?
• RQ3 설명이 이상 조사 중 불필요한 인지 부담을 줄이는가?
• RQ4 인지 부하가 조사 효과성과 효율성에 어떻게 관련되는가?

주요 결과

• 반사실적 설명은 설명이 없을 때와 비교하여 이상 조사를 개선한다.
• 본 연구는 66명의 참가자(조건당 33명)를 사용했고, 참가자당 여덟 개의 이상 이벤트를 분석했다.
• 반사실적 설명은 불필요한 인지 부담을 줄이고 조사 성능과 효율성의 향상에 기여했다.
• 설명은 사용자가 관련 특성을 국부화하고 일반 값이 어떻게 보이는지에 대한 맥락을 제공하여 극심한 기상 현상과 휴일의 분류를 돕는다.