[논문 리뷰] Shape and Time Distortion Loss for Training Deep Time Series Forecasting Models

Vincent Le Guen, Nicolas Thome|arXiv (Cornell University)|2019. 09. 19.

Time Series Analysis and Forecasting인용 수 105

한 줄 요약

DILATE는 다중 단계의 비정상 시계열 예측에서 형태 정확도와 시간 로컬라이제이션을 분리 최적화하는 미분 가능 손실을 도입하여 MSE 및 DTW 기반 손실 대비 여러 데이터셋에서 개선을 보인다.

ABSTRACT

This paper addresses the problem of time series forecasting for non-stationary signals and multiple future steps prediction. To handle this challenging task, we introduce DILATE (DIstortion Loss including shApe and TimE), a new objective function for training deep neural networks. DILATE aims at accurately predicting sudden changes, and explicitly incorporates two terms supporting precise shape and temporal change detection. We introduce a differentiable loss function suitable for training deep neural nets, and provide a custom back-prop implementation for speeding up optimization. We also introduce a variant of DILATE, which provides a smooth generalization of temporally-constrained Dynamic Time Warping (DTW). Experiments carried out on various non-stationary datasets reveal the very good behaviour of DILATE compared to models trained with the standard Mean Squared Error (MSE) loss function, and also to DTW and variants. DILATE is also agnostic to the choice of the model, and we highlight its benefit for training fully connected networks as well as specialized recurrent architectures, showing its capacity to improve over state-of-the-art trajectory forecasting approaches.

연구 동기 및 목표

• 비정상 시계열의 다중 단계 예측에서 급격한 체계 변화가 있는 경우를 다룬다.
• 형태 오차를 시간 정렬과 분리하여 해소하는 미분 가능 손실을 제공한다.
• DILATE를 사용하여 MLP 및 Seq2Seq와 같은 딥 모델의 효율적인 학습을 가능하게 한다.
• 다수의 데이터셋에서 MSE 및 DTW 변형에 비해 형태 및 시간 지표가 우수함을 보여준다.

제안 방법

• L_DILATE = alpha * L_shape + (1 - alpha) * L_temporal 의 두 항 미분 가능 손실을 정의한다.
• L_shape는 워핑 경로에 대한 소프트민(min over warping paths)을 사용하는 미분 가능 DTW 기반 손실(DTW_gamma)이다.
• L_temporal은 최적 DTW 경로에서의 편차를 부드러운 근사 A_gamma^*와 시간 페널티 행렬 Omega를 통해 측정한다.
• 연산 비용을 k^2로 감소시키는 커스텀 역전파 구현을 제공한다.
• DTW와 시간 제약(Omega)을 혼합한 접선형 변형 L_DILATE^t를 추가로 제공한다.
• DILATE가 MLP 및 Seq2Seq 아키텍처와 함께 사용 가능하며 다양한 데이터셋과 호환됨을 보인다.

실험 결과

연구 질문

• RQ1 차분 가능하고 두 항으로 구성된 왜곡 손실이 표준 MSE보다 비정상 시계열의 다중 단계 예측에 도움이 될 수 있는가?
• RQ2 형태와 시간 구성 요소를 구분하면 급변하는 변화와 그 시점을 더 정확하게 포착하는 데 도움이 되는가?
• RQ3 DILATE 손실은 네트워크 아키텍처에 독립적이며 단순 모델과 시퀀스 기반 모델 모두에서 효과적인가?
• RQ4 실제 및 합성 데이터에서 DTW 기반 손실 및 다른 최첨단 예측 모델과 비교했을 때 DILATE의 성능은 어떠한가?

주요 결과

• DILATE는 합성, ECG, 교통 데이터 세트에서 형태(T- DTW) 및 시간(TDI) 지표에서 MSE보다 성능이 우수하며 여러 경우에서 유의한 차이가 나타난다.
• DTW_gamma와 비교할 때 DILATE는 모든 실험에서 더 나은 시간 정확도(TDI)를 보이며 전반적으로 더 우수한 형태-시간 균형을 달성한다.
• DILATE로 학습된 Seq2Seq 모델은 Traffic 데이터에서 MSE로 학습된 최첨단 모델보다 형태 및 시간 지표가 더 우수하다.
• 평가 지표에서 MSE로 평가될 때도 DILATE는 MSE와의 경쟁력을 유지하며 강건성을 보인다.
• 맞춤형 역전파 구현은 학습 시간을 단축시키며 예측 horizon k가 커질수록 더 큰 속도 향상을 보인다.