[논문 리뷰] Real-time Drift Detection on Time-series Data

Nandini Ramanan, Rasool Tahmasbi외 4명|arXiv (Cornell University)|2021. 10. 12.

Data Stream Mining Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 시계열 데이터에 대한 비지도 시간적 드리프트 탐지 방법인 UTDD를 제안한다. 이 방법은 드리프트 탐지 전에 Boosted Embeddings를 사용해 계절성 및 순환 패턴을 제거하고 잔차에 대한 z-점수를 통해 개념 드리프트를 탐지한다. 실시간으로 레이블이 없는 환경에서 스트리밍 환경에서의 모델 적응을 가능하게 하며, 기준값이 없는 상황에서도 효과적인 드리프트 탐지를 달성한다. 이를 위해 시뮬레이션 데이터에서 검증되었으며, 8월–9월과 9월–10월 간의 드리프트를 나타내는 z-점수 0.53과 0.65를 기록했다.

ABSTRACT

Practical machine learning applications involving time series data, such as firewall log analysis to proactively detect anomalous behavior, are concerned with real time analysis of streaming data. Consequently, we need to update the ML models as the statistical characteristics of such data may shift frequently with time. One alternative explored in the literature is to retrain models with updated data whenever the models accuracy is observed to degrade. However, these methods rely on near real time availability of ground truth, which is rarely fulfilled. Further, in applications with seasonal data, temporal concept drift is confounded by seasonal variation. In this work, we propose an approach called Unsupervised Temporal Drift Detector or UTDD to flexibly account for seasonal variation, efficiently detect temporal concept drift in time series data in the absence of ground truth, and subsequently adapt our ML models to concept drift for better generalization.

연구 동기 및 목표

• 실시간 응용 프로그램에서 기준값 레이블이 제공되지 않는 상황에서 시계열 데이터의 개념 드리프트 탐지 문제를 해결하기 위해.
• 구조에 대한 사전 지식 없이도 복잡한 비선형 계절성 및 순환 패턴을 효과적으로 처리할 수 있는 방법을 개발하기 위해.
• 계절성 제거 후 잔차 행동의 통계적 드리프트를 탐지하여 자동화되고 비용 효율적인 모델 재학습을 가능하게 하기 위해.
• 네트워크 보안 및 시스템 모니터링와 같은 다양한 분야에 적용 가능한 일반적이고 블랙박스 기반의 비지도 시간적 드리프트 탐지 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 블랙박스 방식으로 원시 시계열 데이터에서 계절성 및 순환 패턴을 모델링하고 제거하기 위해 Boosted Embeddings(BE)를 사용한다.
• 원본 데이터에서 BE로 피팅된 계절성 성분을 빼서 잔차를 계산함으로써 정상 시계열을 도출한다.
• 잔차 시계열의 z-점수를 계산하고, 훈련 데이터에서의 기준 z-점수 분포와 비교하여 드리프트를 탐지한다.
• 슬라이딩 윈도우를 사용해 실시간으로 작동하며, 지속적인 데이터 분포 이탈 모니터링이 가능하다.
• 추가적인 범주형 변수(예: 주중, 휴일 효과 등)를 외생 입력으로 통합하여 계절성 모델링 정확도를 향상시킨다.
• 실제 데이터에서 흔히 발생하는 알려지지 않은 비선형 및 다중 주기적 계절성에 대해 강건한 방법으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 기준값 레이블이 없는 상황에서 시계열 데이터의 개념 드리프트를 신뢰성 있게 탐지할 수 있는가?
• RQ2 계절성 및 순환 패턴을 효과적으로 모델링하고 제거하여 잔차 신호에서 기반 드리프트를 분리할 수 있는가?
• RQ3 다중 계절 환경에서 비지도 방법이 높은 민감도와 낮은 거짓 경고 비율로 시간적 드리프트를 탐지할 수 있는가?
• RQ4 잔차 시계열의 z-점수는 기준값과 비교해 어떻게 통계적 드리프트를 나타내는가?

주요 결과

• 8월과 9월 사이에 드리프트가 성공적으로 탐지되었으며, 잔차 z-점수 0.53으로 기준값에서의 명백한 이탈을 나타냈다.
• 9월과 10월 사이에는 더 높은 z-점수 0.65가 관찰되어 데이터 분포에서의 추가적인 드리프트를 확인했다.
• Boosted Embeddings의 사용으로 주기성 또는 형태에 대한 사전 지식 없이도 복잡한 비선형 계절 패턴을 정확하게 모델링할 수 있었다.
• 잔차 z-점수 분석은 개념 드리프트를 신뢰성 있게 탐지할 수 있는 레이블이 없는 지표를 제공했으며, 자동 모델 재학습 트리거를 가능하게 했다.
• 주중과 주말 간 계절 패턴이 다를 경우에도 드리프트를 계절 변동성에서 효과적으로 분리하는 데 성공했다.