[論文レビュー] Deep Time Series Models: A Comprehensive Survey and Benchmark

Yuxuan Wang, Haixu Wu+5 more|arXiv (Cornell University)|Jul 18, 2024

Time Series Analysis and Forecasting被引用数 25

ひとこと要約

この論文は深層時系列モデルをアーキテクチャとタスクで概観し、Time Series Library (TSLib) ベンチマークを24モデル、30データセット、5タスクで紹介するとともに、12の高度モデルの評価を行います。

ABSTRACT

Time series, characterized by a sequence of data points organized in a discrete-time order, are ubiquitous in real-world scenarios. Unlike other data modalities, time series present unique challenges due to their intricate and dynamic nature, including the entanglement of nonlinear patterns and time-variant trends. Analyzing such data is of great significance in practical applications and has been extensively studied for centuries. Recent years have witnessed remarkable breakthroughs in the time series community, with techniques shifting from traditional statistical methods to contemporary deep learning models. In this paper, we delve into the design of deep time series models across various analysis tasks and review the existing literature from two perspectives: basic modules and model architectures. Further, we develop and release Time Series Library (TSLib) as a fair benchmark of deep time series models for diverse analysis tasks. TSLib implements 30 prominent models, covers 30 datasets from different domains, and supports five prevalent analysis tasks. Based on TSLib, we thoroughly evaluate 13 advanced deep time series models across diverse tasks. Empirical results indicate that models with specific structures are well-suited for distinct analytical tasks, providing insights for research and adoption of deep time series models. Code and datasets are available at https://github.com/thuml/Time-Series-Library.

研究の動機と目的

• 基本モジュールから現代的アーキテクチャまで、深層時系列モデル設計の構造的概要を提供する。
• 公正な評価のためのオープンソースベンチマーク（TSLib）を導入・公開する。
• アーキテクチャの選択が複数の時系列タスクで性能に与える影響を実証的に分析する。

提案手法

• 基本モジュール（定常化、分解、基底展開、フーリエ解析）をレビューし、深層モデルに統合される方法を示す。
• 深層時系列モデルを五つのバックボーンアーキテクチャに分類する：MLP、RNN、CNN、GNN、Transformer。
• 公正なベンチマーキングのために24の主流モデル、30データセット、5タスクを実装したTime Series Library (TSLib) を提案・公開する。
• TSLib を用いて異なる分析タスクで12の高度モデルを広範な実験を行う。

実験結果

リサーチクエスチョン

• RQ1 複数の時系列分析タスク（予測、分類、補間、異常検知など）に対して、異なるバックボーンアーキテクチャはどのように性能を発揮するか？
• RQ2 深層時系列モデルにおけるさまざまな基本モジュール（定常化、分解、基底展開、フーリエ分析）の相対的な有効性はどれくらいか？
• RQ3 TSLib が多様なデータセットとタスクに対して公正で包括的な評価をどのように可能にするか？
• RQ4 実証的ベンチマークに基づいて、特定の時系列タスクに最適なモデルアーキテクチャはどれか？
• RQ5 実世界のアプリケーションで深層時系列モデルを設計する際にどんな洞察が得られるか？

主な発見

• タスクに適合した構造を持つモデルは、特定の分析タスクで優れる傾向がある。
• Time Series Library (TSLib) は24モデル、30データセット、5タスクの公正な比較を可能にする。
• 多様なタスクで12の高度モデルを評価することは、モデル選択とベンチマーク選択の実践的な指針を提供する。
• 深層時系列アーキテクチャは、従来のモジュール（例：分解、定常化）と現代的なバックボーン（例：Transformer、GNN）を組み合わせることで恩恵を受ける。