[논문 리뷰] Parallel Extraction of Long-term Trends and Short-term Fluctuation Framework for Multivariate Time Series Forecasting

Zhou, Yifu, Ziheng Duan외 5명|arXiv (Cornell University)|2020. 08. 18.

Time Series Analysis and Forecasting참고 문헌 25인용 수 6

한 줄 요약

이 논문은 병렬 다중 작업 학습을 통해 장기 추세와 단기 변동성을 동시에 모델링하는 새로운 다변량 시계열 예측 프레임워크인 PFNet을 제안한다. 시계열 예측을 두 가지 별개의 하위 작업으로 분해함으로써, 장기 추세에 대해 Highway-CNN을, 단기 변동성에 대해 게이트드 네트워크를 사용함으로써 실제 데이터셋에서 기존 최고 수준의 모델들을 능가하는 뛰어난 정확도를 달성한다.

ABSTRACT

Multivariate time series forecasting is widely used in various fields. Reasonable prediction results can assist people in planning and decision-making, generate benefits and avoid risks. Normally, there are two characteristics of time series, that is, long-term trend and short-term fluctuation. For example, stock prices will have a long-term upward trend with the market, but there may be a small decline in the short term. These two characteristics are often relatively independent of each other. However, the existing prediction methods often do not distinguish between them, which reduces the accuracy of the prediction model. In this paper, a MTS forecasting framework that can capture the long-term trends and short-term fluctuations of time series in parallel is proposed. This method uses the original time series and its first difference to characterize long-term trends and short-term fluctuations. Three prediction sub-networks are constructed to predict long-term trends, short-term fluctuations and the final value to be predicted. In the overall optimization goal, the idea of multi-task learning is used for reference, which is to make the prediction results of long-term trends and short-term fluctuations as close to the real values as possible while requiring to approximate the values to be predicted. In this way, the proposed method uses more supervision information and can more accurately capture the changing trend of the time series, thereby improving the forecasting performance.

연구 동기 및 목표

• 기존 방법들이 다변량 시계열(MTS) 예측에서 장기 추세와 단기 변동성을 혼동하는 한계를 해결하기 위해.
• 두 가지 별개의 시간 동적 특성인 장기 추세와 단기 변동성을 명시적으로 분리하고 모델링하여 예측 정확도와 모델의 해석 가능성을 향상시키기 위해.
• 복잡한 아키텍처 없이도 두 구성 요소를 병렬 감독을 통해 통합할 수 있는 유연하고 효율적인 프레임워크를 개발하기 위해.
• 장기 추세와 변동성을 함께 모델링하는 것이 종단간 또는 단일 작업 접근 방식보다 더 나은 예측 성능을 낼 수 있음을 경험적으로 검증하기 위해.

제안 방법

• PFNet은 장기 추세 예측(LTPM)과 단기 변동성 예측(SFPM)을 동시에 수행하기 위해 다중 작업 학습 목표를 활용한다.
• 장기 추세 예측 모듈(LTPM)은 원본 시계열 값의 변화를 모델링하기 위해 Highway-CNN을 사용하며, $\hat{x}_{t+h-1}$를 예측한다.
• 단기 변동성 예측 모듈(SFPM)은 차분된 시리즈 $\Delta X_t$와 현재 상태 $x_t$를 입력으로 받아 $\Delta \hat{x}_{t+h}$를 예측함으로써 일시적인 변동을 포착한다.
• 정보 융합 모듈은 $\hat{x}_{t+h-1}$와 $\Delta \hat{x}_{t+h}$를 결합하여 최종 예측 $\hat{x}_{t+h}$를 재구성함으로써 일관성을 확보한다.
• 모델이 두 구성 요소의 의미 있는 표현을 학습하도록 유도하기 위해, 삼중조 손실 함수를 설계하였다.
• RNN, LSTNet, CNN-AR 등 다양한 백본 네트워크와 호환되어 아키텍처의 유연성을 입증한다.

실험 결과

연구 질문

• RQ1 MTS 예측에서 장기 추세와 단기 변동성을 분리하여 모델링할 경우, 병합 모델링 대비 예측 정확도 향상이 이루어지는가?
• RQ2 다중 작업 학습을 통한 두 구성 요소의 통합이 모델 성능과 내성에 어떤 영향을 미치는가?
• RQ3 단기 변동성 예측에서 현재 상태 $x_t$를 포함시키는 것이 단지 $\Delta X_t$만을 사용하는 것보다 어떤 기여를 하는가?
• RQ4 제안된 병렬 프레임워크가 CNN, RNN 또는 LSTNet와 같은 다양한 백본 아키텍처에 일반화되는가?
• RQ5 삼중조 손실이 MTS 작업에서 특징 학습과 예측 성능 향상에 얼마나 기여하는가?

주요 결과

• PFNet은 세 가지 실제 데이터셋에서 모든 세 평가 지표(RAE, RSE, CORR)에서 여섯 가지 최고 수준의 베이스라인을 능가한다.
• 제거 실험 결과, 단기 변동성 모듈를 제거한 LTPM 전용 모델은 성능이 크게 하락함으로써 두 구성 요소를 모두 모델링하는 것이 가치가 있음을 확인한다.
• SFPM에서 MLP를 생략하고 $\Delta X_t$만 사용하는 PFNet-xt는 전체 PFNet보다 성능이 열 劣하므로, $x_t$가 단기 예측에 의미 있는 기여를 한다는 것을 입증한다.
• CNN-AR 백본을 RNN 또는 LSTNet로 교체하더라도 경쟁력 있는 결과를 도출함으로써, 병렬 예측 프레임워크의 강건성을 입증한다.
• 고차원 시계열에서 MLCNN보다 더 뛰어난 효율성을 달성하였으며, 학습 및 추론 시간은 단순 기저 모델의 약 두 배 수준이며 MLCNN보다 3.6~6.5배 빠르다.
• 환율 데이터셋에서 PFNet은 예측 수준 3에서 RSE 0.0156을 달성하여 PFNet-xt(0.0168)와 LTPM(0.0194)를 모두 능가함으로써, 공동 모델링의 이점이 확인된다.