[논문 리뷰] Deep Explicit Duration Switching Models for Time Series

Abdul Fatir Ansari, Konstantinos Benidis외 6명|arXiv (Cornell University)|2021. 10. 26.

Time Series Analysis and Forecasting참고 문헌 46인용 수 4

한 줄 요약

이 논문은 시간 시계열에서 상태에 의존하는 동역학과 시간에 의존하는 스위칭 동역학을 동시에 포착하는 깊이 있는 상태공간 모델인 재귀적 명시적 지속시간 스위칭 동역학계(RED-SDS)를 제안한다. 재귀적 상태-스위치 연결과 명시적 지속시간 모델링을 통해, 연속 상태에 대한 추론 네트워크와 이산 스위치 및 수를 위한 정확한 전진-역행 추론을 통한 효율적인 하이브리드 추론을 가능하게 하여, 다양한 벤치마크에서 최신 기술 수준의 분할 및 경쟁력 있는 예측 성능을 달성한다.

ABSTRACT

Many complex time series can be effectively subdivided into distinct regimes that exhibit persistent dynamics. Discovering the switching behavior and the statistical patterns in these regimes is important for understanding the underlying dynamical system. We propose the Recurrent Explicit Duration Switching Dynamical System (RED-SDS), a flexible model that is capable of identifying both state- and time-dependent switching dynamics. State-dependent switching is enabled by a recurrent state-to-switch connection and an explicit duration count variable is used to improve the time-dependent switching behavior. We demonstrate how to perform efficient inference using a hybrid algorithm that approximates the posterior of the continuous states via an inference network and performs exact inference for the discrete switches and counts. The model is trained by maximizing a Monte Carlo lower bound of the marginal log-likelihood that can be computed efficiently as a byproduct of the inference routine. Empirical results on multiple datasets demonstrate that RED-SDS achieves considerable improvement in time series segmentation and competitive forecasting performance against the state of the art.

연구 동기 및 목표

• 기존의 스위칭 동역학계가 상태에 의존하는 동역학과 시간에 의존하는 스위칭 행동를 동시에 모델링할 수 없는 한계를 해결하기 위해.
• 장기적인 시간 패턴을 포착하고 과다 분할을 줄임으로써 시간 시계열 분할 성능을 향상시키기 위해.
• 제어된 동역학을 학습하고 일관되게 외삽함으로써 경쟁력 있는 확률적 예측을 가능하게 하기 위해.
• 연속 상태에 대한 근사 추론과 이산 스위치 및 지속시간 수에 대한 정확한 추론을 조합한 효율적인 추론 알고리즘을 개발하기 위해.
• 지속시간 모델 하이퍼파rameter를 통해 인덕티브 바이어스를 통합하여 복잡한 시간 시계열에서 지속적인 제어 영역을 더 잘 식별하기 위해.

제안 방법

• RED-SDS는 비선형이고 재귀적인 전이를 통해 진동하는 잠재 상태를 사용하여 시간 시계열을 모델링하며, 스위치가 활성 제어 영역을 결정한다.
• 시간에 의존하는 스위칭을 모델링하기 위해 명시적 지속시간 변수를 도입한다. 각 스위치는 지속시간 분포(예: 기하분포 또는 감마분포)를 가지며, 제어 영역 내 지속성을 포착한다.
• 상태에서 스위치로의 재귀적 연결을 통해 상태에 의존하는 스위칭을 가능하게 하여, 상태 궤적에 기반한 제어 영역 전환을 허용한다.
• 하이브리드 추론을 사용한다: 추론 네트워크가 연속 상태의 사후분포를 근사하고, 정확한 전진-역행 알고리즘이 이산 스위치 및 수의 사후분포를 계산한다.
• 모델은 추론 루틴 동안 효율적으로 계산되는 몬테카를로 하한값(ELBO)을 최대화함으로써 훈련된다.
• 신경망이 전이, 방출 및 스위치 동역학을 매개변수화하여 비선형적이고 비정규 분포를 가진 시간 시계열에 대한 유연한 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 하나의 모델이 시간 시계열에서 상태에 의존하는 동역학과 시간에 의존하는 스위칭 동역학을 효과적으로 동시에 포착할 수 있는가?
• RQ2 명시적 지속시간 모델링이 없는 모델에 비해 분할 정확도를 향상시키고 과다 분할을 줄이는 데 기여하는가?
• RQ3 하이브리드 추론 프레임워크는 상태 및 시간에 의존하는 스위칭의 복합성을 효과적으로 처리할 수 있는가?
• RQ4 다양한 데이터셋에서 최신 기술 수준의 모델들과 비교해 RED-SDS의 예측 성능은 어떠한가?
• RQ5 제약 없는 구조적 제약 조건 하에 모델이 의미 있고 해석 가능한 제어 영역을 학습할 수 있는가?

주요 결과

• RED-SDS는 강력한 베이스라인([13])보다 시간 시계열 분할에서 뚜렷한 성능 향상을 보이며, 과다 분할을 줄이고 장기 패턴을 더 잘 포착함을 드래깅 비둘기 데이터셋에서 입증했다.
• CRPS 결과에서 DeepAR 및 KVAE와 같은 최신 기술 수준의 모델들과 비교해 경쟁력 있는 예측 성능을 달성했다.
• 명시적 지속시간 모델링 덕분에 모델은 지속적인 제어 영역을 학습하고 예측 기간 동안 일관되게 외삽할 수 있어, 예측 작업을 단순화한다.
• 하이브리드 추론 알고리즘은 효율적인 훈련과 추론을 가능하게 하며, 추론 루틴의 부산물로 몬테카를로 ELBO가 계산된다.
• 지속시간 모델 분포 및 상태 차원 수(2–16)의 하이퍼파라미터 튜닝이 다양한 데이터셋에서 성능 향상에 기여함을 보여, 인덕티브 바이어스의 중요성을 시사한다.
• 도시 전력 소비 및 벌의 진동 춤과 같은 복잡하고 혼합된 스위칭 행동을 보이는 시간 시계열을 포함한 다양한 시간 시계열에 대해 뛰어난 강건성을 보였다.