[論文レビュー] Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis

Zezhi Shao, Fei Wang+11 more|arXiv (Cornell University)|Oct 9, 2023

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

本稿では、多変量時系列予測における公平なベンチマークであるBasicTSを紹介する。このベンチマークは、学習と評価を統一することで、モデル比較における不整合を解消する。研究では、モデル性能の差がモデルの優位性ではなく、データの非均一性に起因することを明らかにし、データの時空間的特性に基づいたモデル選定・設計のためのロードマップを提示する。

ABSTRACT

Multivariate Time Series (MTS) analysis is crucial to understanding and managing complex systems, such as traffic and energy systems, and a variety of approaches to MTS forecasting have been proposed recently. However, we often observe inconsistent or seemingly contradictory performance findings across different studies. This hinders our understanding of the merits of different approaches and slows down progress. We address the need for means of assessing MTS forecasting proposals reliably and fairly, in turn enabling better exploitation of MTS as seen in different applications. Specifically, we first propose BasicTS+, a benchmark designed to enable fair, comprehensive, and reproducible comparison of MTS forecasting solutions. BasicTS+ establishes a unified training pipeline and reasonable settings, enabling an unbiased evaluation. Second, we identify the heterogeneity across different MTS as an important consideration and enable classification of MTS based on their temporal and spatial characteristics. Disregarding this heterogeneity is a prime reason for difficulties in selecting the most promising technical directions. Third, we apply BasicTS+ along with rich datasets to assess the capabilities of more than 45 MTS forecasting solutions. This provides readers with an overall picture of the cutting-edge research on MTS forecasting. The code can be accessed at https://github.com/GestaltCogTeam/BasicTS.

研究の動機と目的

• 多変量時系列予測（MTS）における公平で一貫性のあるベンチマークの欠如が、研究間での信頼性の低い性能比較を引き起こしている問題に対処する。
• 時空間的次元にわたるMTSデータセットの非均一性を体系的に分析し、過去のモデル性能に関する結論がしばしば誤解を招く理由を説明する。
• 提案されたBasicTSベンチマークを用いて、18以上のデータセットで30以上のMTS予測モデルを包括的かつ再現可能に比較する。
• 時系列的・空間的特性に基づいたモデル選定および設計の実用的ロードマップを構築し、モデルの複雑さよりも効率性と頑健性を重視する。
• LTSF-Linear や STID といった単純なモデルが、複雑なアーキテクチャを上回ることが多いことから、今後の研究は分布ドリフトのモデリングや不確実性推定に重点を置くべきであることを強調する。

提案手法

• 学習と評価の統一されたパイプラインであるBasicTSを提案。データ前処理、モデル学習、評価指標を標準化することで、モデル間の公平な比較を保証する。
• 統計的・可視化的分析を用いて、時系列パターン（明確・安定的、顕著な分布ドリフト、明確でないパターン）に基づきMTSデータセットを分類する。
• 空間的依存性を定量化するための新規空間的依存度指標を導入し、空間的同一性が顕著かどうかの区別を可能にする。
• 18以上の実世界データセットで30以上のMTSモデルを大規模かつ再現可能にベンチマーク評価し、性能（MAE、MSE、MAPE、WAPE）と効率性（推論速度、FLOPs）の両方を評価する。
• グラフベース、ラティントグラフ、非グラフ手法を統一された評価フレームワークに統合し、空間モデリングが予測精度に与える影響を評価する。
• 時系列パターンの安定性と空間的依存性の強さに基づいたモデル選定ロードマップを提案し、単純なモデルを強力なベースラインとして推奨する。

Figure 1. Architecture of the proposed benchmark BasicTS.

実験結果

リサーチクエスチョン

• RQ1 不整合なベンチマーク手法が、MTS予測モデル間の性能比較にどれほど信頼性のない結果をもたらすか。
• RQ2 MTSデータセットの時空間的非均一性が、過去の研究におけるモデル性能の一般化可能性にどのように影響するか。
• RQ3 公平で標準化された条件のもとで、多様なMTSデータセットにおいて一貫して優れた性能を示すモデルアーキテクチャは何か。
• RQ4 LTSF-Linear や STID といった単純なモデルが、実世界の設定においてより複雑なモデルを上回る強力なベースラインとして機能できるか。
• RQ5 データ固有の特性に基づいたMTS予測モデルの選定・開発のための主要な設計原則は何か。

主な発見

• DCRNN や GWNet といった広く使われているモデルの性能は、近年の研究でしばしば低く評価されており、不一致なベンチマークの影響で最大33％の性能低下が報告されている。
• 正規化されたデータ上でMAEやMSEを用いた正規化ベースの評価は、誤って低い誤差スコアをもたらすことがある。MAPE や WAPE を用いて再正規化されたデータで評価することで、より信頼性があり現実的な性能評価が可能になる。
• 2019年と2020年に発表された Graph WaveNet や MTGNN は、最近のモデル（StemGNN や GTS）よりも標準ベンチマークで優れた性能を示しており、モデルの複雑さに伴う向上が限定的であることを示している。
• STID と STNorm は、大多数のデータセットで高い効率性と優れた性能を達成しており、モデルの効率性と単純さが、アーキテクチャの複雑さよりもしばしば価値が高いことを示唆している。
• 有効なグラフ構造を学習することは困難である。MTGNN と STEP のみが、固定または学習されたベースラインを上回る有用なグラフを学習できたが、他の大多数の手法は性能向上に失敗している。
• 最近のモデル改善の大部分は、予測精度の有意義な向上ではなく、アーキテクチャの複雑さに起因しており、特に分布ドリフトや明確でないパターンを示すデータセットでは顕著である。

Figure 2. Prediction visualizations on the ETTh1 dataset.