[논문 리뷰] A review on outlier/anomaly detection in time series data

Ane Blázquez-García, Ángel Conde외 2명|arXiv (Cornell University)|2020. 02. 11.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 시계열 데이터에서 이상치 탐지 기법에 대한 종합적인 분류 체계와 최신 기술 리뷰를 제시하며, 핵심 특성과 적용 맥락에 따라 방법을 분류한다. 통계적, 거리 기반, 군집 기반, 기계학습 기반 접근 방식을 사용하여 점 이상치, 부분 시계열, 전체 시계열 이상치를 평가하며, 주기적인 부분 시계열 이상치 처리의 한계와 多변량 변수 간 이상치 전파 문제와 같은 격차를 드러낸다.

ABSTRACT

Recent advances in technology have brought major breakthroughs in data collection, enabling a large amount of data to be gathered over time and thus generating time series. Mining this data has become an important task for researchers and practitioners in the past few years, including the detection of outliers or anomalies that may represent errors or events of interest. This review aims to provide a structured and comprehensive state-of-the-art on outlier detection techniques in the context of time series. To this end, a taxonomy is presented based on the main aspects that characterize an outlier detection technique.

연구 동기 및 목표

• 시계열 데이터에서 이상치 탐지 기법에 대한 체계적이고 종합적인 개요를 제공하는 것.
• 이상치 탐지 기법을 정의하는 핵심 특성에 기반한 분류 체계를 수립하는 것.
• 특히 부분 시계열 및 다변량 이상치 탐지 분야에서 현재 기법의 연구 격차를 규명하는 것.
• 문제 맥락과 데이터 유형에 따라 적절한 기법을 선택하는 데 연구자와 실무자에게 안내하는 것.
• 시계열 이상치 탐지에 사용 가능한 공개 소프트웨어 도구를 보고하는 것.

제안 방법

• 탐지 유형(점, 부분 시계열, 시계열), 데이터 유형(단변량, 다변량), 방법론적 접근 방식 등을 핵심 특성으로 삼아 이상치 탐지 기법을 분류하는 분류 체계를 제안한다.
• 통계적 방법(예: Z-점수, Grubbs-Beck), 거리 기반 기법(예: 마할라노비스 거리), 군집 기반 접근 방식, 기계학습 모델(예: 오토인코더, LSTMs)을 검토한다.
• 유클리드 거리 및 동적 시간 왜곡(DTW)과 같은 이질성 측정 기법의 사용을 분석하며, 이들이 탐지 성능에 미치는 영향을 강조한다.
• 특히 스트리밍 또는 누적 환경에서의 확장성과 실시간 적용 가능성을 평가한다.
• 다변량 이상치 탐지의 과제를 논의하며, 단변량 방법이 변수 간 상관관계를 포착하지 못하는 문제를 다룬다.
• 이질성 기반 기법에서 최적의 거리 측정 기법을 자동으로 선택하는 데 메타학습 접근 방식의 잠재력을 강조한다.

실험 결과

연구 질문

• RQ1 시계열 데이터에서 이상치 탐지 기법의 주요 범주와 특성은 무엇인가?
• RQ2 통계적, 거리 기반, 군집 기반, 기계학습 기반 접근 방식이 점 이상치, 부분 시계열 이상치, 전체 시계열 이상치 탐지에서 어떻게 비교되는가?
• RQ3 현재 기법이 주기적인 부분 시계열 이상치 및 다변량 이상치 전파를 다루는 데에 한계가 있는 이유는 무엇인가?
• RQ4 유클리드 거리와 비교해 DTW와 같은 이질성 측정 기법이 탐지 정확도 향상에 어떻게 기여하는가?
• RQ5 실시간 또는 스트리밍 데이터 환경에서 이러한 기법을 적용하는 데에 있어 핵심 과제는 무엇인가?

주요 결과

• 대부분의 기존 기법은 계산 효율성 덕분에 유클리드 거리를 주로 사용하지만, DTW는 시간 패턴을 더 잘 포착함으로써 탐지 성능 향상에 기여할 수 있다.
• 특히 사이버 보안 또는 사기 탐지 맥락에서 다변량 시계열의 주기적인 부분 시계열 이상치를 탐지할 수 있는 기법이 부족하다.
• 슬라이딩 윈도우를 사용해 모든 부분 시계열을 군집화하는 것은 종종 의미 없는 결과를 낳으며, 겹치지 않는 윈도우는 비주기적 이상치를 놓칠 수 있다.
• 개별 변수가 정상적으로 보일지라도 변수 간 상관관계를 위반하는 다변량 이상치는 단변량 기법으로는 탐지되지 않는다.
• 한 변수에서 시작해 시간이 지남에 따라 다른 변수로 전파되는 이상치 현상은 현재 문헌에서 여전히 다루어지지 않은 문제이다.
• 메타학습 접근 방식은 최적의 거리 측정 기법을 자동으로 선택함으로써 탐지의 강건성을 향상시키는 데 잠재력이 있다.