[논문 리뷰] Deep Learning for Multi-Scale Changepoint Detection in Multivariate Time Series

Zahra Ebrahimzadeh, Min Zheng외 2명|arXiv (Cornell University)|2019. 05. 16.

Time Series Analysis and Forecasting참고 문헌 29인용 수 9

한 줄 요약

이 논문은 다변량 시계열에서 다중 척도 변화점 탐지에 위한 새로운 딥러닝 아키텍처인 피라미드 순환 신경망(PRN)을 제안한다. 훈련 가능한 웨이블릿 레이어와 피라미드 분석을 통합함으로써 PRN은 급격한 변화와 점진적인 변화 모두에 대해 척도 불변 탐지를 달성하며, OPPORTUNITY 및 벌 진동 춤 데이터를 포함한 합성 및 실세계 데이터셋에서 최신 기술보다 높은 정확도와 일반화 성능을 보였다.

ABSTRACT

Many real-world time series, such as in health, have changepoints where the system's structure or parameters change. Since changepoints can indicate critical events such as onset of illness, it is highly important to detect them. However, existing methods for changepoint detection (CPD) often require user-specified models and cannot recognize changes that occur gradually or at multiple time-scales. To address both, we show how CPD can be treated as a supervised learning problem, and propose a new deep neural network architecture to efficiently identify both abrupt and gradual changes at multiple timescales from multivariate data. Our proposed pyramid recurrent neural network (PRN) provides scale-invariance using wavelets and pyramid analysis techniques from multi-scale signal processing. Through experiments on synthetic and real-world datasets, we show that PRN can detect abrupt and gradual changes with higher accuracy than the state of the art and can extrapolate to detect changepoints at novel scales not seen in training.

연구 동기 및 목표

• 기존 변화점 탐지(CPD) 방법의 한계를 해결하기 위해 사용자 지정 모델이 필요로 하며, 점진적 또는 다중 척도 변화에 어려움을 겪는 문제를 해결하고자 한다.
• 각각의 새로운 지속시간에 맞게 재학습이 필요 없이 다양한 척도에서 일반화 가능한 딥러닝 기반 CPD 프레임워크를 개발하고자 한다.
• 엔드 투 엔드 학습 가능한 아키텍처를 통해 다변량 시계열에서 급격한 변화와 점진적인 변화를 정확하게 탐지하고자 한다.
• 웨이블릿 기반 계층적 특징 추출과 피라미드 분석을 통해 척도 불변성을 구현하고자 한다.
• 학습 중에 나타나지 않은 새로운 척도에서의 변화점에 대한 일반화 능력을 입증하고자 한다.

제안 방법

• 데이터에서 최적의 웨이블릿 필터를 학습하는 훈련 가능한 웨이블릿 레이어를 제안하여 다중 척도 표현 학습을 가능하게 한다.
• 계층적 풀링과 특징 융합을 통해 다중 해상도에서 시계열을 처리하는 피라미드 순환 신경망(PRNS)을 도입한다.
• 웨이블릿 변환을 사용하여 입력 신호를 다양한 척도의 하위 대역으로 분해하여 다양한 지속 기간의 시간 패턴을 캡처한다.
• 피라미드 분석을 적용하여 점진적으로 다운샘플링하고 특징을 융합함으로써 장거리 의존성을 유지하면서도 척도 불변성을 달성한다.
• CPD 문제를 지도 학습 문제로 간주하여 다양한 전이 속도를 가진 변화점이 레이블링된 합성 데이터로 모델을 훈련시킨다.
• 정밀도와 재현율을 동시에 최적화하는 손실 함수를 사용하며, 예측값과 진짜값을 매칭하기 위해 허용 오차 창문(η)을 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 다변량 시계열에서 급격한 변화와 점진적인 변화점 모두를 높은 정확도로 탐지할 수 있는가?
• RQ2 학습 중에 나타나지 않은 척도에서 발생하는 변화점에도 일반화할 수 있는가?
• RQ3 웨이블릿 변환과 피라미드 아키텍처의 통합이 CPD에서 척도 불변성을 향상시키는가?
• RQ4 다양한 허용 오차 기준(η)에서 제안된 PRN은 최신 기술 대비 AUC 측면에서 어떻게 성능을 내는가?
• RQ5 복잡하고 노이즈가 많으며 비 stationary한 패턴을 가진 실세계 데이터셋에서도 모델은 강건한 성능을 유지할 수 있는가?

주요 결과

• 합성 데이터에서 PRN은 모든 유형의 변화에 대해 훈련한 후 η=512일 때 AUC 0.869를 기록하였으며, 기준 모델인 HM-RNN(0.142)과 CNN(0.808)보다 유의미하게 뛰어났다.
• '급격한 변화에 훈련하고 점진적인 변화를 테스트'하는 설정에서 PRN은 η=512일 때 AUC 0.876을 기록하여 다음으로 좋은 모델인 DWN(0.835)을 초월하였다.
• '점진적인 변화에 훈련하고 급격한 변화를 테스트'하는 설정에서 PRN은 η=512일 때 AUC 0.830을 기록하여 DWN(0.834)과 CNN(0.830)을 능가하였으며, 예상치 못한 변화 유형에 대한 뛰어난 일반화 능력을 보였다.
• OPPORTUNITY 데이터셋에서 PRN은 η=128일 때 AUC 0.833을 기록하였으며, CNN(0.710)과 GGM(0.065)보다 유의미하게 뛰어나면서도 더 적은 가짜 경고를 기록하고 진짜 변화점과 잘 일치하였다.
• 벌 진동 춤 데이터에서 PRN은 η=32, 64, 128일 때 모두 최고의 AUC 0.932를 기록하였으며, 실세계의 노이즈가 많은 환경에서도 뛰어난 강건성과 신뢰성을 입증하였다.
• PRN은 모든 허용 오차 수준(η)에서 높은 성능를 유지함으로써 척도 불변성을 입증하였으며, 학습 중에 나타나지 않은 새로운 척도에서도 전이 속도에 관계없이 변화점을 탐지할 수 있음을 보였다.