[논문 리뷰] A review and comparison of strategies for multi-step ahead time series forecasting based on the NN5 forecasting competition

Souhaib Ben Taieb, Gianluca Bontempi외 2명|arXiv (Cornell University)|2011. 08. 16.

Forecasting Techniques and Applications참고 문헌 58인용 수 5

한 줄 요약

이 논문은 NN5 경쟁 대회 데이터셋(111개 시계열)을 사용하여 다중 단계 앞서 예측하는 데 사용되는 여섯 가지 전략—순차적, 직접적, DirRec, MIMO, DIRMO—을 평가하고 비교한다. 주요 발견은 다중 출력 전략(특히 MIMO-ACFLIN)이 다른 전략을 능가하며, 계절성 제거가 정확도를 균일하게 향상시키고, 입력 선택 기법은 계절성 제거와 조합될 경우 가장 효과적이라는 것이다.

ABSTRACT

Multi-step ahead forecasting is still an open challenge in time series forecasting. Several approaches that deal with this complex problem have been proposed in the literature but an extensive comparison on a large number of tasks is still missing. This paper aims to fill this gap by reviewing existing strategies for multi-step ahead forecasting and comparing them in theoretical and practical terms. To attain such an objective, we performed a large scale comparison of these different strategies using a large experimental benchmark (namely the 111 series from the NN5 forecasting competition). In addition, we considered the effects of deseasonalization, input variable selection, and forecast combination on these strategies and on multi-step ahead forecasting at large. The following three findings appear to be consistently supported by the experimental results: Multiple-Output strategies are the best performing approaches, deseasonalization leads to uniformly improved forecast accuracy, and input selection is more effective when performed in conjunction with deseasonalization.

연구 동기 및 목표

• 대규모 실험 환경에서 기존의 다중 단계 앞선 시계열 예측 전략을 체계적으로 평가하고 비교하는 것.
• 예측 정확도에 미치는 전처리 기법—계절성 제거 및 입력 변수 선택—의 영향을 다양한 전략 간에 조사하는 것.
• 예측 조합 기법의 효과를 향상된 예측 성능 측면에서 평가하는 것.
• 예선 대회에서의 검증 데이터 결과가 실제 경쟁의 보류된 테스트 세트에서의 성능을 신뢰성 있게 예측할 수 있는지 확인하는 것.
• 기계 학습 모델을 사용한 장기 시계열 예측에 가장 강력하고 정확한 예측 접근 방식을 규명하는 것.

제안 방법

• 연구는 여섯 가지 예측 전략—순차적, 직접적, DirRec, MIMO, DIRMO, 단일 출력 레이지 러닝 접근 방식—을 평가한다.
• 다중 출력 전략(MIMO 및 DIRMO)은 단일 모델을 사용해 모든 예측 수준을 동시에 모델링함으로써 오차 누적을 최소화한다.
• 계절성 제거는 고전적 분해(예: X-12-ARIMA)를 통해 시계열의 계절성 성분을 제거한 후 예측을 수행한다.
• 입력 변수 선택은 상관 기반 및 정보 이론 기반 기준을 사용하며, 계절성 제거와 조합될 경우 특히 효과적이다.
• 예측 조합은 등가중치(예: COMB) 및 가중치 평균(예: WCOMB) 방식을 사용해 모델 간의 정확도를 향상시킨다.
• 평가에는 NN5 예측 경쟁의 111개 시계열을 대상으로 SMAPE를 주요 지표로 사용하며, 통계적 유의성은 프리드먼 검정을 통해 검증한다.

실험 결과

연구 질문

• RQ1 순차적, 직접적, DirRec, MIMO, 또는 DIRMO 전략 중 어느 것이 다양한 시계열에서 가장 정확한 예측을 도출하는가?
• RQ2 계절성 제거는 다중 단계 예측 작업에서 다양한 예측 전략의 성능에 어떤 영향을 미치는가?
• RQ3 입력 변수 선택은 예측 정확도를 향상시키는 데 기여하는가? 그리고 이러한 기여는 계절성 제거와 같은 전처리 기법에 의존하는가?
• RQ4 예측 조합 기법(COMB, WCOMB 등)은 개별 모델 선택(WINNER)에 비해 예측 정확도 향상에 얼마나 효과적인가?
• RQ5 예선 대회에서의 검증 데이터 결과가 NN5 경쟁의 보류된 테스트 세트에서의 실제 성능을 어느 정도 정확하게 예측할 수 있는가?

주요 결과

• 다중 출력 전략(MIMO 및 DIRMO)은 단일 출력 전략보다 일관되게 뛰어난 성능을 보이며, MIMO-ACFLIN은 모든 모델 중에서 가장 낮은 SMAPE(20.28)를 기록했다.
• 계절성 제거는 테스트한 39개 모델 중 38개에서 정확도를 향상시켜 성능 향상에 균일한 긍정적 영향을 미친다는 것을 시사한다.
• 입력 변수 선택은 계절성 제거와 조합될 경우에만 정확도 향상에 뚜렷한 기여를 하며, 그렇지 않은 경우 결과는 혼합되거나 오히려 악화될 수 있다.
• 예측 조합 기법(COMB 및 WCOMB)은 승자독점 방식(WINNER)을 능가하며, COMB와 WCOMB는 유사한 성능을 기록했다.
• 예선 대회 결과와 실제 경쟁 결과 간에 전략 순위 및 전처리 기법의 영향이 일관되게 유지되었다.
• MIMO-ACFLIN 전략은 예선 대회 검증 기반으로 선정되었으며, 실제 NN5 경쟁에서 계산 지능 분야 참가 모델 중 1위를 기록했을 것이다.