[논문 리뷰] Historical Inertia: A Neglected but Powerful Baseline for Long Sequence Time-series Forecasting

Yue Cui, Jiandong Xie외 1명|arXiv (Cornell University)|2021. 03. 30.

Time Series Analysis and Forecasting참고 문헌 14인용 수 5

한 줄 요약

이 논문은 장기 시계열 예측(이하 LSTF)을 위한 단순하면서도 강력한 베이스라인인 역사적 관성(Historical Inertia, HI)을 소개한다. HI는 예측으로 가장 최근의 역사적 시점들을 사용한다. 이는 단순함에도 불구하고 네 개의 실세계 데이터셋에서 최신 기술(SOTA) 모델 대비 최대 82%의 상대적 성능 향상을 달성하며, LSTF 연구에서 자주 간과되는 강력한 베이스라인임을 입증한다.

ABSTRACT

Long sequence time-series forecasting (LSTF) has become increasingly popular for its wide range of applications. Though superior models have been proposed to enhance the prediction effectiveness and efficiency, it is reckless to neglect or underestimate one of the most natural and basic temporal properties of time-series. In this paper, we introduce a new baseline for LSTF, the historical inertia (HI), which refers to the most recent historical data-points in the input time series. We experimentally evaluate the power of historical inertia on four public real-word datasets. The results demonstrate that up to 82\% relative improvement over state-of-the-art works can be achieved even by adopting HI directly as output.

연구 동기 및 목표

• 장기 시계열 예측(LSTF)을 위한 단순하면서도 매우 효과적인 베이스라인을 식별하고 평가하여 현재 연구에서 자주 간과되는 문제를 해결하고자 한다.
• 최근의 역사적 데이터 포인트—즉, 역사적 관성(HI)으로 불리는 것—이 다양한 실세계 데이터셋에서 강력한 예측 기준이 될 수 있음을 입증하고자 한다.
• HI가 특정 상황에서 왜 이렇게 잘 작동하는지, 그리고 기존의 예측 모델을 향상시키는 데 어떻게 활용할 수 있는지 탐구하고자 한다.
• 향후 LSTF 연구에서 HI를 표준 베이스라인으로 포함시켜 공정하고 의미 있는 모델 비교를 보장하고자 한다.

제안 방법

• HI는 입력 시퀀스 $\mathcal{X}(t)$의 마지막 $L_y$개 시점들을 예측 출력 $\hat{\mathcal{Y}}(t)$로 직접 사용한다. 즉, $\hat{\mathcal{Y}}(t) = [X_{L_x - L_y + 1}(t), \dots, X_{L_x}(t)]$이다.
• 이 방법은 예측 길이 $L_y$가 입력 길이 $L_x$를 초과하지 않아야 한다는 조건을 필요로 하며, 이는 일반적으로 대규모 데이터셋을 갖춘 실세계 응용에서 충족된다.
• 실험은 Informer와 MLP와 같은 최신 기술 모델들과의 비교를 통해 네 개의 공개 데이터셋인 ETTh1, ETTh2, ETTm1, Electricity에서 수행된다.
• 성능 평가는 표준 지표인 평균제곱오차(MSE)와 평균절대오차(MAE)를 사용하며, 이는 테스트 세트에서 계산된다.
• 후처리 단계에서 가중 평균을 활용해 HI와 학습된 모델(예: MLP + HI)을 융합하는 하이브리드 모델링을 탐색한다.
• 또한 입력 데이터의 시간 패턴 분석을 바탕으로 모델 선택(예: HI 대비 학습된 모델)을 유도하는 AutoML 기반 접근법을 제안한다.

실험 결과

연구 질문

• RQ1 단순한 구조에도 불구하고 역사적 관성(HI) 베이스라인이 장기 시계열 예측에서 왜 이렇게 뛰어난 성능을 내는가?
• RQ2 HI는 어떤 상황에서 학습된 모델보다 우월하거나 열등한 성능을 보이며, 이러한 행동을 이끄는 시간적 특성은 무엇인가?
• RQ3 HI는 딥러닝 모델과 효과적으로 융합되어 예측 성능을 추가로 향상시킬 수 있는가?
• RQ4 HI는 자동화된 머신러닝(AutoML) 파이프라인에 어떻게 통합되어 LSTF에서 적응형 모델 선택을 가능하게 할 수 있는가?

주요 결과

• ETTm1 데이터셋에서 672단계 앞서 예측할 경우, HI는 Informer와 같은 최신 기술 모델 대비 최대 82%의 상대적 성능 향상을 달성한다.
• ETTh1 데이터셋에서 720단계 예측 시점에 HI는 MSE를 1.215(이너포머 기준)에서 0.714로, MAE를 0.896에서 0.563으로 감소시킨다.
• 예측 길이가 96, 288, 또는 672일 때, 주기적 패턴(예: 일일 주기)이 역사적 데이터에 잘 반영되어 있는 ETTm1 데이터셋에서는 HI가 SOTA 모델을 크게 앞서며 성능을 뛰어나게 한다.
• 짧은 예측 길이(예: 24 또는 48단계)에서는 주기적 패턴의 커버리지가 부족하여 HI의 성능이 열 劣화되며, 이는 시간적 규칙성에 대한 의존도를 보여준다.
• Electricity 데이터셋에서 720단계 예측 시, 하이브리드 모델인 MLP + HI는 MLP 단독 대비 일관되게 성능 향상을 보이며, MSE와 MAE가 최대 10% 감소한다.
• 예측 길이가 시계열 주기의 정수 배수일 경우, HI의 강점이 가장 두드러지며, 이는 위상과 진폭이 목표와 정렬되기 때문이다.