[논문 리뷰] Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis

Zezhi Shao, Fei Wang외 11명|arXiv (Cornell University)|2023. 10. 09.

Time Series Analysis and Forecasting인용 수 6

한 줄 요약

이 논문은 다변량 시계열 예측을 위한 공정한 벤치마크인 BasicTS를 소개한다. 이는 훈련 및 평가를 표준화하여 모델 간 비교의 비일관성을 해결한다. 연구 결과, 모델 성능 격차는 모델의 열등성보다는 데이터 이질성에 기인하며, 데이터의 시간적 및 공간적 특성에 기반한 모델 선택 또는 설계의 길잡이를 제공한다.

ABSTRACT

Multivariate Time Series (MTS) analysis is crucial to understanding and managing complex systems, such as traffic and energy systems, and a variety of approaches to MTS forecasting have been proposed recently. However, we often observe inconsistent or seemingly contradictory performance findings across different studies. This hinders our understanding of the merits of different approaches and slows down progress. We address the need for means of assessing MTS forecasting proposals reliably and fairly, in turn enabling better exploitation of MTS as seen in different applications. Specifically, we first propose BasicTS+, a benchmark designed to enable fair, comprehensive, and reproducible comparison of MTS forecasting solutions. BasicTS+ establishes a unified training pipeline and reasonable settings, enabling an unbiased evaluation. Second, we identify the heterogeneity across different MTS as an important consideration and enable classification of MTS based on their temporal and spatial characteristics. Disregarding this heterogeneity is a prime reason for difficulties in selecting the most promising technical directions. Third, we apply BasicTS+ along with rich datasets to assess the capabilities of more than 45 MTS forecasting solutions. This provides readers with an overall picture of the cutting-edge research on MTS forecasting. The code can be accessed at https://github.com/GestaltCogTeam/BasicTS.

연구 동기 및 목표

• 다변량 시계열 예측(MTS) 분야에서 공정하고 일관된 벤치마크의 부족으로 인해 다양한 연구 간 성능 비교가 신뢰할 수 없게 되는 문제를 해결한다.
• 기존 연구에서 모델 성능에 대한 결론이 종종 오해의 소지가 되는 이유를 설명하기 위해, 시간적 및 공간적 차원에서 MTS 데이터셋의 이질성을 체계적으로 분석한다.
• 제안된 BasicTS 벤치마크를 활용해 18개 이상의 데이터셋에서 30개 이상의 MTS 예측 모델에 대한 포괄적이고 재현 가능한 비교를 수행한다.
• 시간적 패턴 안정성과 공간적 의존성 강도 등의 데이터 특성에 기반해 모델 선택 및 설계를 위한 실용적인 길잡이를 개발한다. 이는 모델 복잡성보다 효율성과 강인성을 우선시한다.
• 간단한 모델들인 LTSF-Linear와 STID가 복잡한 아키텍처보다 종종 뛰어난 성능을 보임을 강조하며,未래 연구가 분포 드리프트 모델링과 불확실성 추정에 더 중점을 두어야 한다고 제안한다.

제안 방법

• 모델 간 공정한 비교를 보장하기 위해 데이터 전처리, 모델 훈련, 평가 지표를 표준화한 통합된 훈련 및 평가 파이프라인인 BasicTS를 제안한다.
• 통계적 분석 및 시각화를 활용해 시간 패턴 기반으로 MTS 데이터셋을 '명확한/안정적인', '중요한 분포 드리프트가 있는', 또는 '명확한 패턴이 없는'으로 분류한다.
• 새로운 공간 의존성 측정 지표를 도입해, 공간적으로 구분되지 않는 데이터셋과 그렇지 않은 데이터셋을 정량적으로 구분한다.
• 실세계 데이터셋 18개 이상에서 30개 이상의 MTS 모델을 대상으로 대규모이고 재현 가능한 벤치마크를 수행하며, 성능(MAE, MSE, MAPE, WAPE)과 효율성(추론 속도, FLOPs)을 함께 평가한다.
• 그래프 기반, 잠재적 그래프, 비그래프 방법을 통합된 평가 프레임워크에 통합해 공간 모델링이 예측 정확도에 미치는 영향을 평가한다.
• 시간 패턴 안정성과 공간 의존성 강도 등의 데이터 특성에 기반해 모델 선택 길잡이를 제안하며, 단순한 모델을 강력한 베이스라인으로 추천한다.

Figure 1. Architecture of the proposed benchmark BasicTS.

실험 결과

연구 질문

• RQ1 불일치하는 벤치마크 관행이 MTS 예측 모델 간 성능 비교에 얼마나 신뢰할 수 없게 영향을 미치는가?
• RQ2 MTS 데이터셋의 시간적 및 공간적 이질성이 기존 연구에서 모델 성능 주장의 일반화 가능성에 어떻게 영향을 미치는가?
• RQ3 공정하고 표준화된 조건에서 평가했을 때, 다양한 MTS 데이터셋에서 일관되게 뛰어난 성능을 보이는 모델 아키텍처는 무엇인가?
• RQ4 LTSF-Linear나 STID와 같은 단순한 모델들이 실제 환경에서 더 복잡한 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ5 데이터 특성에 기반해 MTS 예측 모델을 선택하거나 개발하기 위한 핵심 설계 원칙은 무엇인가?

주요 결과

• 최근 연구에서 DCRNN와 GWNet 등의 널리 사용되는 모델의 성능은 불일치한 벤치마크로 인해 자주 과소 평가된다. 보고된 성능 저하는 최대 33%에 이르기도 한다.
• 정규화된 데이터에 대해 MAE와 MSE를 사용한 정규화 기반 평가 방법은 잘못된 낮은 오차 점수를 유도할 수 있다. 반면, 재정규화된 데이터를 사용하고 MAPE 및 WAPE를 적용하면 더 신뢰성 있고 현실적인 성능 평가가 가능하다.
• 2019년과 2020년에 발표된 Graph WaveNet과 MTGNN는 표준 벤치마크에서 여전히 StemGNN과 GTS와 같은 최신 모델들을 능가하며, 이는 모델 복잡성 증가로 인한 성능 향상이 제한적임을 시사한다.
• STID와 STNorm는 대부분의 데이터셋에서 높은 효율성과 뛰어난 성능을 기록하며, 이는 모델의 효율성과 단순성보다 아키텍처의 복잡성에 더 중점을 두는 것이 유리할 수 있음을 시사한다.
• 효율적인 그래프 구조 학습은 어렵다. MTGNN와 STEP만이 고정 또는 학습된 기반선을 향상시키지 못하는 다른 대부분의 방법들과 달리, 유의미한 그래프를 성공적으로 학습한다.
• 최근 대부분의 모델 개선 사례는 예측 정확도의 실질적 향상보다는 아키텍처의 복잡성 증가에서 기인하며, 특히 분포 드리프트나 명확한 패턴이 없는 데이터셋에서는 더욱 두드러진다.

Figure 2. Prediction visualizations on the ETTh1 dataset.