[논문 리뷰] anomaly : Detection of Anomalous Structure in Time Series Data

Alex Fisch, Daniel Grose외 3명|arXiv (Cornell University)|2020. 10. 19.

Anomaly Detection Techniques and Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 단변량 및 다변량 시계열에서 점 이상치와 집단 이상치를 탐지하기 위한 R 패키지 'anomaly'를 소개한다. CAPA(Collective and Point Anomaly detection), PASS(Proportion Adaptive Segment Selection), BARD(Bayesian Abnormal Region Detector)와 같은 고급 방법을 구현하며, 이는 가능도 기반 증거 융합 및 펜라티드 가능도 또는 고도의 비판을 사용하여 구조적 변화를 탐지한다. 시뮬레이션 및 실제 데이터(기계 온도 및 마이크로어레이 데이터 포함)에서 검증된 성능을 보였다.

ABSTRACT

One of the contemporary challenges in anomaly detection is the ability to detect, and differentiate between, both point and collective anomalies within a data sequence or time series. The anomaly package has been developed to provide users with a choice of anomaly detection methods and, in particular, provides an implementation of the recently proposed Collective And Point Anomaly family of anomaly detection algorithms. This article describes the methods implemented whilst also highlighting their application to simulated data as well as real data examples contained in the package.

연구 동기 및 목표

• 기존의 이상치 탐지 방법에서 간과되는 점 이상치와 집단 이상치를 동시에 탐지하는 과제를 해결한다.
• 최근의 통계적 방법을 통합하여 시계열 데이터의 구조적 변화에 특화된 단일 R 소프트웨어 패키지를 제공한다.
• 다변량 시계열에서 자기상관 및 구성 요소 간 비정렬된 이상치 존재 시 탐지 성능의 강건성을 향상시킨다.
• BARD 방법을 통해 베이지안 추론을 통한 불확실성 정량화를 가능하게 하며, 이상치 위치 및 구성 요소 참여도에 대한 사후 표본을 제공한다.
• 기계 온도 모니터링 및 유전자체 분석 데이터를 포함한 실제 데이터 응용 사례를 통해 실용적 유용성을 입증한다. 자기상관 조정을 위한 파라미터 튜닝을 포함한다.

제안 방법

• CAPA(Collective and Point Anomaly detection)를 단변량 및 다변량 시계열에 적용하며, 비용이 가중진한 가능도 접근법을 사용하여 평균 또는 분산 변화가 있는 세그먼트를 탐지한다.
• PASS(Proportion Adaptive Segment Selection)를 다변량 데이터에 적용하며, 구성 요소별 이상 증거를 고도의 비판을 통해 융합하여 일부 구성 요소만 영향을 받을 때 집단 이상치를 탐지한다.
• BARD(Bayesian Abnormal Region Detector)를 베이지안 대안으로 사용하며, 이상 영역을 사전 분포로 모델링하고 사후 표본을 반환하여 불확실성 정량화를 가능하게 한다.
• 자기상관을 보정하기 위해 추정된 자기상관( rho_hat ) 기반으로 벌점 매개변수를 확장하여 종속된 데이터에서의 오진 탐지 수를 감소시킨다.
• 검출 정확도 향상을 위해 탈트렌딩 및 탈계절성 처리와 같은 사전 처리 단계를 통합한다.
• 탐지된 이상 시작/종료 지점 및 각 세그먼트의 검정 통계량을 포함한 결과를 해석하기 위한 시각화 및 요약 기능을 제공한다.

실험 결과

연구 질문

• RQ1 단일 방법으로 시계열 데이터에서 점 이상치와 집단 이상치를 동시에 효과적으로 탐지할 수 있는가?
• RQ2 특히 일부 구성 요소만 영향을 받을 때, 집단 이상치 탐지에서 CAPA의 비용이 가중진한 가능도 접근법과 PASS의 고도의 비판 간 성능 비교는 어떻게 되는가?
• RQ3 자기상관을 벌점 확장으로 보정함으로써 실세계 시계열에서 탐지 성능 향상이 어느 정도 이루어지는가?
• RQ4 BARD를 통한 베이지안 추론은 빈도주의 방법에 비해 이상치 탐지에 대해 더 해석 가능한 불확실성 정량화를 제공할 수 있는가?
• RQ5 기계 온도 및 마이크로어레이 유전자체 데이터와 같이 알려진 이상이 있는 실세계 데이터셋에서 이러한 방법들은 어떻게 성능을 발휘하는가?

주요 결과

• CAPA는 기계 온도 데이터셋에서 네 개의 집단 이상치를 성공적으로 탐지했으며, 두 번째, 세 번째, 네 번째 이상치는 알려진 사건과 잘 일치한다. 첫 번째 이상치는 잠재적인 오진 탐지 또는 탐지되지 않은 사건일 수 있다.
• 추정된 자기상관(rho_hat)을 기반으로 벌점 매개변수를 조정한 후, CAPA의 오진 탐지 수가 감소하여 자기상관이 있는 데이터에서 더 강건한 성능을 보였다.
• CAPA의 검정 통계량은 평균 변화량과 세그먼트 지속 시간의 곱으로 정의되며, 이는 작은 평균 이동량이지만 긴 지속 시간을 가진 세그먼트가 더 높은 검정 통계량을 가질 수 있음을 설명한다.
• PASS와 CAPA는 모두 구성 요소 간 가능도 기반 증거 융합을 사용하지만, PASS는 고도의 비판을 사용하여 일부 구성 요소만 이상일 경우 성능이 저하될 수 있다.
• BARD는 이상 위치 및 구성 요소 참여도에 대한 사후 표본을 제공하여 불확실성 인식이 가능한 탄력적인 출력을 제공하며, 더 깊은 추론을 지원한다.
• 패키지의 구현은 단변량 및 다변량 이상치 탐지 모두를 지원하며, 모델 선택, 파라미터 튜닝, 결과 시각화에 대한 명확한 기능을 제공한다.