[논문 리뷰] Enhancing Continuous Time Series Modelling with a Latent ODE-LSTM Approach

C. Coelho, M. Fernanda P. Costa외 1명|arXiv (Cornell University)|2023. 07. 11.

Time Series Analysis and ForecastingComputer Science참고 문헌 11인용 수 3

한 줄 요약

이 논문은 불규칙 샘플링이 있는 연속 시계열에서 장기적 의존성을 더 잘 다루기 위해 Latent ODE-RNN의 ODE-RNN 인코더를 ODE-LSTM 아키텍처로 대체하는 새로운 잠재 ODE-LSTM 모델을 제안한다. 노름 기울기 클리핑을 통합함으로써 모델은 기울기 소실 및 폭발 문제를 효과적으로 완화하며, 기준 모델보다 합성 및 실세계 시계열에서 더 뛰어난 재구성 및 외삽 성능을 보여준다.

ABSTRACT

Due to their dynamic properties such as irregular sampling rate and high-frequency sampling, Continuous Time Series (CTS) are found in many applications. Since CTS with irregular sampling rate are difficult to model with standard Recurrent Neural Networks (RNNs), RNNs have been generalised to have continuous-time hidden dynamics defined by a Neural Ordinary Differential Equation (Neural ODE), leading to the ODE-RNN model. Another approach that provides a better modelling is that of the Latent ODE model, which constructs a continuous-time model where a latent state is defined at all times. The Latent ODE model uses a standard RNN as the encoder and a Neural ODE as the decoder. However, since the RNN encoder leads to difficulties with missing data and ill-defined latent variables, a Latent ODE-RNN model has recently been proposed that uses a ODE-RNN model as the encoder instead. Both the Latent ODE and Latent ODE-RNN models are difficult to train due to the vanishing and exploding gradients problem. To overcome this problem, the main contribution of this paper is to propose and illustrate a new model based on a new Latent ODE using an ODE-LSTM (Long Short-Term Memory) network as an encoder -- the Latent ODE-LSTM model. To limit the growth of the gradients the Norm Gradient Clipping strategy was embedded on the Latent ODE-LSTM model. The performance evaluation of the new Latent ODE-LSTM (with and without Norm Gradient Clipping) for modelling CTS with regular and irregular sampling rates is then demonstrated. Numerical experiments show that the new Latent ODE-LSTM performs better than Latent ODE-RNNs and can avoid the vanishing and exploding gradients during training.

연구 동기 및 목표

• 불규칙 샘플링이 있는 연속 시계열을 모델링할 때 Latent ODE-RNN에서 기울기 소실 및 폭발 문제를 해결하기 위해.
• 장기적 시퀀스 모델링을 향상시키기 위해 RNN 인코더를 시간적 의존성을 더 잘 유지하는 ODE-LSTM 아키텍처로 교체하기 위해.
• 잠재 공간 최적화 과정에 노름 기울기 클리핑을 통합하여 학습 안정성과 성능을 향상시키기 위해.
• 다양한 샘플링 패턴과 시퀀스 길이를 가진 합성 및 실세계 시계열에서 새로운 아키텍처를 평가하기 위해.

제안 방법

• 숨은 상태 전이가 신경 ODE에 의해 지배되는 ODE-LSTM 인코더를 갖춘 변분 오토인코더 프레임워크를 제안한다.
• 잠재 공간에서의 연속 시간 역학을 모델링하기 위해 신경 ODE를 디코더로 사용한다.
• 기울기 성장 제어를 위해 노름 기울기 클리핑을 적용하여 백프로파게이션 중 기울기 폭발을 방지한다.
• 지속적인 시간 범위에서의 변분 추론을 통해 정방향 및 역방향 시간 외삽을 지원하는 잠재 궤적을 학습한다.
• 재구성 기반 확률적 최적화를 위해 재표본화 기반의 확률적 백프로파게이션을 사용하여 변분 하한(ELBO)을 최적화한다.
• 엔드 투 엔드 학습을 가능하게 하기 위해 인코더 및 디코더에서 ODE 통합에 수치적 해법(예: Dopri5)을 사용한다.

Figure 1 : Schematic representation of a RNN applied to a sequential data of arbitrary length. The feedback loop can be unrolled over time and represented as $N$ copies of the RNN cell, resembling a deep fully-connected feed-forward NN with a depth of $N$ .

실험 결과

연구 질문

• RQ1 ODE-RNN 인코더를 ODE-LSTM 인코더로 교체함으로써 불규칙 샘플링이 있는 장기적 연속 시계열에서 성능 향상을 이룰 수 있는가?
• RQ2 노름 기울기 클리핑 통합이 잠재 ODE-LSTM 아키텍처에서 기울기 폭발을 효과적으로 방지하는가?
• RQ3 잠재 ODE-LSTM 모델은 점점 더 흐린 샘플링 조건에서 합성 시계열을 재구성하고 외삽할 때 Latent ODE-RNN보다 어떻게 성능을 냈는가?
• RQ4 잠재 ODE-LSTM 모델은 정규 및 불규칙 샘플링 간격을 가진 실세계 시계열에서 어떻게 성능를 보였는가?
• RQ5 다양한 시퀀스 길이와 데이터 특성에 걸쳐 모델은 안정성과 일반화 능력을 유지하는가?

주요 결과

• 잠재 ODE-LSTM 모델은 특히 흐린 샘플링 조건에서 이중 나선 역학을 재구성하는 데 Latent ODE-RNN 기준 모델을 능가한다.
• 노름 기울기 클리핑을 적용한 잠재 ODE-LSTM+GC는 합성 나선에서 정방향 및 역방향 외삽 성능이 가장 우수하며, t < 0 및 t > 0 영역에서도 정확도를 유지한다.
• DJIA 주가 데이터셋에서 장기 시퀀스(N=365)로 훈련했을 때 잠재 ODE-LSTM 모델은 MSE가 0.232 ± 0.046으로 Latent ODE-RNN의 0.245 ± 0.012보다 낮게 나타나 더 낮은 평균 제곱 오차를 기록했다.
• 단기 예측(7일 예측 기준)에서는 잠재 ODE-RNN이 약간 더 뛰어난 성능(0.025 ± 0.002 vs. 0.044 ± 0.005 MSE)을 보였으며, 이는 단기 대 비장기 성능 간의 상충 관계를 시사한다.
• 노름 기울기 클리핑을 적용한 모델(Latent ODE-LSTM+GC)은 안정적인 학습을 보이며 기울기 폭발을 방지했으며, 모든 시퀀스 길이 및 데이터셋에서 일관된 성능을 보였다.
• 수치 실험 결과, ODE-LSTM 인코더가 기울기 소실 문제를 효과적으로 완화하여 시계열에서 장기적 의존성을 더 잘 학습할 수 있음을 확인했다.

Figure 2 : Long Short-Term Memory cell scheme.