[논문 리뷰] DynaConF: Dynamic Forecasting of Non-Stationary Time Series

Siqi Liu, Andreas Lehrmann|arXiv (Cornell University)|2022. 09. 17.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

DynaConF는 베이지안 동적 모델과 인과적 딥 조건부 분포 네트워크를 사용하여 정적 조건부 분포 모델링과 시간에 따라 변하는 비정상적 동적 구조를 명시적으로 분리함으로써 비정상적인 시계열을 예측하기 위한 새로운 딥러닝 프레임워크를 제안한다. 이는 합성 및 실세계 데이터셋 모두에서 최신 기술(SOTA) 모델을 능가하며, 특히 동적 분포 이동 상황에서 더 낮은 CRPS 및 MSE 점수를 기록함으로써 예측 가능한 변화에 효과적으로 적응함을 보여준다.

ABSTRACT

Deep learning has shown impressive results in a variety of time series forecasting tasks, where modeling the conditional distribution of the future given the past is the essence. However, when this conditional distribution is non-stationary, it poses challenges for these models to learn consistently and to predict accurately. In this work, we propose a new method to model non-stationary conditional distributions over time by clearly decoupling stationary conditional distribution modeling from non-stationary dynamics modeling. Our method is based on a Bayesian dynamic model that can adapt to conditional distribution changes and a deep conditional distribution model that handles multivariate time series using a factorized output space. Our experimental results on synthetic and real-world datasets show that our model can adapt to non-stationary time series better than state-of-the-art deep learning solutions.

연구 동기 및 목표

• 현재 딥러닝 모델들이 암묵적인 정상성 가정으로 인해 비정상적인 조건부 분포를 가진 시계열 예측에 어려움을 겪는 문제를 해결하기 위해.
• 시간이 지남에 따라 조건부 분포의 변화를 명시적으로 모델링함으로써, 예측 가능한 분포 이동에 대한 일반화 능력을 향상시키기 위해.
• 시간에 따라 변하지 않는(정적) 분포 모델링과 시간에 따라 변하는(비정상적) 동적 구조 모델링을 분리하여 적응성과 추론 효율성을 향상시키기 위해.
• 시계열의 조건부 분포에서 새로운, 이전에 본 적이 없는 분포 변화에 대해 테스트 시점에서의 적응을 가능하게 하기 위해.
• 특히 관측되지 않거나 새로운 사건으로 인해 기저 동적 구조가 변화하는 경우에도 통계적 성질이 변화하는 다변량 시계열에 대한 예측 성능을 향상시키기 위해.

제안 방법

• 모델은 비정상적 동적 변화를 적응적으로 학습할 수 있도록 시간에 따라 변하는 조건부 분포를 표현하기 위해 베이지안 동적 모델을 사용한다.
• 제어 변수를 기반으로 정적 조건부 분포를 효과적으로 모델링하기 위해 출력 공간을 인과적으로 분해한 딥 조건부 분포 모델을 활용한다.
• 잠재 상태에 대한 사후분포를 근사하기 위해 변분 후행분포를 사용하며, 시간에 따라 선형적으로 복잡도가 증가하여 장기간의 시퀀스에서도 효율적인 훈련이 가능하다.
• 비정상 조건 하에서 효율적인 추론과 사후 추정을 가능하게 하기 위해 레이오-블랙웰라이즈드 입자 필터를 통합한다.
• 제어 변수는 시간에 따라 변하는 성분을 명시적으로 매개변수화하여, 정적 분포 학습과 동적 변화 모델링을 분리할 수 있도록 한다.
• 재구성과 사후 정규화를 균형 잡는 미분 가능한 변분 추론 목적함수를 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 시간에 따라 변하지 않는 파라미터를 가정하지 않고도 비정상적인 조건부 분포를 효과적으로 학습하고 적응할 수 있는가?
• RQ2 정적 분포 모델링과 비정상적 동적 구조 모델링을 분리함으로써, 예측 가능한 분포 이동에 대한 일반화 능력은 어떻게 향상되는가?
• RQ3 제안된 방법이 급격하거나 연속적인 분포 변화가 있는 시계열에서 최신 기술(SOTA) 모델을 얼마나 뛰어넘을 수 있는가?
• RQ4 비정상성이 관측되지 않거나 새로운 사건으로 인해 발생하는 실세계 데이터셋에서 모델의 성능은 어떠한가?
• RQ5 시간에 따라 변하는 동적 구조를 명시적으로 모델링함으로써 예측 불확실성과 테스트 시점 적응에서의 강건성은 어떻게 영향을 받는가?

주요 결과

• 합성 데이터에서 DynaConF는 테스트 CRPS 0.301과 MSE 3.7을 기록하여 모든 베이스라인, 특히 더 높은 오차를 보인 아블레이트된 StatiConF 모델보다 뛰어난 성능을 보였다. 이는 동적 모델링의 필요성을 시사한다.
• Walmart 데이터셋에서 DynaConF는 CRPS 0.512와 MSE 2.497e-3를 기록하여 최고의 베이스라인인 TimeGrad(_CRPS 0.604, MSE 3.190e-2_)를 뛰어넘었다.
• 온도 데이터셋에서 DynaConF는 CRPS 0.186와 MSE 1.017e-3를 기록하여 TimeGrad(_CRPS 0.195, MSE 1.077e-3_) 및 기타 베이스라인을 모두 능가했다.
• 모델은 다양한 데이터셋에서 일관된 성능을 보였으며, 조건부 분포 이동이 뚜렷한 설정에서 가장 큰 성과를 기록하여, 비정상성 처리를 위한 설계 목표를 확인했다.
• 아블레이션 연구 결과, StatiConF(정적 모델 전용 버전)는 DynaConF에 비해 성능이 열 劣하므로, 비정상적 환경에서 시간에 따라 변하는 동적 구조의 명시적 모델링이 필수적임을 입증했다.
• 테스트 시점에서 예측 불확실성이 낮고 校정 지표가 향상되어, 특히 동적 환경에서 새로운 분포 이동에 성공적으로 적응함을 입증했다.