[논문 리뷰] Conformal k-NN Anomaly Detector for Univariate Data Streams

Vladislav Ishimtsev, Ivan Nazarov외 2명|arXiv (Cornell University)|2017. 06. 11.

Anomaly Detection Techniques and Applications참고 문헌 1인용 수 26

한 줄 요약

이 논문은 슬라이딩 윈도우를 사용해 비정상성에 적응하는 단변량 시계열을 위한 콫포멀 k-NN 이상 탐지기와, 콕포멀 예측을 통해 확률적 이상도 점수를 제공한다. 이는 Numenta 이상 탐지 벤치마크와 Yahoo! S5 데이터셋에서 최신 기술 수준의 성능을 달성하며, 복잡한 예측 기반 모델들을 능가하고 2016년 Numenta 경연 대회에서 3위를 차지했다.

ABSTRACT

Anomalies in time-series data give essential and often actionable information in many applications. In this paper we consider a model-free anomaly detection method for univariate time-series which adapts to non-stationarity in the data stream and provides probabilistic abnormality scores based on the conformal prediction paradigm. Despite its simplicity the method performs on par with complex prediction-based models on the Numenta Anomaly Detection benchmark and the Yahoo! S5 dataset.

연구 동기 및 목표

• 비정상성에 적응하고 확률적 이상도 점수를 제공하는 모델에 의존하지 않는 단변량 시계열 이상 탐지 방법을 개발하는 것.
• 전통적인 거리 기반 및 예측 기반 방법의 한계를 보완하기 위해 콕포멀 예측을 통합하여 유효하고 비모수적 신뢰도 측정을 제공하는 것.
• 반복성, 비정상성, 장거리 의존성을 보이는 실제 데이터 스트림에서의 탐지 성능을 향상시키는 것.
• 엄격한 벤치마크, 특히 Numenta 이상 탐지 벤치마크와 Yahoo! S5 데이터셋에서 현실적인 비용 함수 조건 하에 방법을 검증하는 것.
• 단순한 k-NN 접근 방식에 콕포멀 점수를 적용할 경우 신경망 및 콜타이탈 메모리 시스템과 같은 복잡한 모델들과 경쟁할 수 있음을 보여주는 것.

제안 방법

• 시계열 데이터를 길이 l인 슬라이딩 윈도우를 사용해 고차원 공간으로 매핑함으로써 k-NN이 순차적 패턴을 다룰 수 있도록 하는 것.
• 캘리브레이션 세트를 기반으로 비모수적 p-값(비일치도 점수)을 계산하기 위해 콕포멀 예측을 사용함으로써 이상도에 대한 유효한 확률적 신뢰도를 제공하는 것.
• 지역 밀도 신뢰도(LDCD) 점수는 비일치도 점수의 경험적 분포에서 유도되며, 강력하고 분포 인식 기반의 이상도 측정을 제공한다.
• 다이내믹 레인지(DynR) 히우리스틱은 비교를 위한 기준으로 사용되며, 확률적 보장을 갖추지 않은 복구 오차의 단순 스케일링에 의존한다.
• 사후 처리로 신호 정제를 적용하여, 특히 기본 k-NN 탐지기가 과민 반응을 보일 경우의 임의의 이상 신호를 감소시키는 것.
• 개념 드프트에 적응하기 위해 최근 관측치의 슬라이딩 윈도우를 유지하면서 지연 점수 계산을 사용하는 것.

실험 결과

연구 질문

• RQ1 스레딩 윈도우 기반의 단순한 k-NN 모델에 콕포멀 예측을 적용할 경우, 비정상성 있는 단변량 시계열에서 신뢰할 수 있고 확률적으로 타당한 이상도 점수를 제공할 수 있는가?
• RQ2 실제 이상 탐지 벤치마크에서 콕포멀 k-NN의 성능은 복잡한 예측 기반 모델들과 비교해 어떻게 되는가?
• RQ3 LDCD 신뢰도 점수는 DynR과 같은 히우리스틱 방법에 비해 탐지 성능을 얼마나 향상시키는가?
• RQ4 신호 정제가 콕포멀 k-NN 프레임워크 내에서 임의의 이상 신호를 감소시키는 데 효과적이며, 동시에 거짓 부정률을 증가시키지 않는가?
• RQ5 중첩된 임bedded 벡터로 인해 시계열에서 i.i.d. 가정 위반이 발생할 경우, 콕포멀 점수의 타당성에 어떤 영향을 미치는가?

주요 결과

• 콕포멀 k-NN 탐지기는 Yahoo! S5 데이터셋에서 표준 점수 64.3, Numenta 데이터셋에서 56.8을 기록하여 기준 DynR 및 기타 복잡한 모델들을 능가했다.
• 신호 정제를 적용한 27-NN 모델(길이 l=19, LDCD 점수 기반)은 Yahoo! S5에서 표준 점수 64.3, Numenta에서 56.8을 기록하여 2016년 Numenta 이상 탐지 경연 대회에서 3위를 차지했다.
• LDCD 신뢰도 점수는 확률적 타당성이 없고 극단치만 고려하는 DynR 히우리스틱에 비해 벤치마크 성능을 크게 향상시켰다.
• k=1이고 임베딩 없음(l=1)인 경우에도 LDCD 기반 k-NN는 Yahoo! S5에서 표준 점수 46.9, Numenta에서 53.5를 기록하여 경고 밀도 감소 없이도 강건함을 입증했다.
• 이 방법은 낮은 거짓 부정률과 거짓 양성률을 보였으며, 두 데이터셋에서 모두 LowFN 및 LowFP 점수는 일관되게 50 이상이었으며, 강력한 이상 탐지 커버리지와 정밀도를 나타냈다.
• 결과적으로 LDCD 절차의 이론적 타당성이 실질적으로 유지됨을 시사하지만, 중첩된 시계열 임베딩에서 i.i.d. 가정 위반의 영향에 대해서는 향후 연구가 필요하다.