[論文レビュー] Earthfarseer: Versatile Spatio-Temporal Dynamical Systems Modeling in One Model

Hao Wu, Yuxuan Liang+5 more|arXiv (Cornell University)|Dec 13, 2023

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

EarthFarseer は、局所的畳み込みとグローバルなフォーリエベースのトランスフォーマーを併用することで、局所的およびグローバルな空間的依存関係を捉える統合的時空間モデリングフレームワークであり、効率的な長期間予測のためのマルチスケール完全畳み込み型かつフォーリエベースの時系列モジュールを用いている。8つの多様な物理的および社会的データセットにおいて最先端の性能を達成し、高速な収束性、高い局所的忠実性、および短い学習時間を実現する。

ABSTRACT

Efficiently modeling spatio-temporal (ST) physical processes and observations presents a challenging problem for the deep learning community. Many recent studies have concentrated on meticulously reconciling various advantages, leading to designed models that are neither simple nor practical. To address this issue, this paper presents a systematic study on existing shortcomings faced by off-the-shelf models, including lack of local fidelity, poor prediction performance over long time-steps,low scalability, and inefficiency. To systematically address the aforementioned problems, we propose an EarthFarseer, a concise framework that combines parallel local convolutions and global Fourier-based transformer architectures, enabling dynamically capture the local-global spatial interactions and dependencies. EarthFarseer also incorporates a multi-scale fully convolutional and Fourier architectures to efficiently and effectively capture the temporal evolution. Our proposal demonstrates strong adaptability across various tasks and datasets, with fast convergence and better local fidelity in long time-steps predictions. Extensive experiments and visualizations over eight human society physical and natural physical datasets demonstrates the state-of-the-art performance of EarthFarseer. We release our code at https://github.com/easylearningscores/EarthFarseer.

研究の動機と目的

• 既存の時空間モデルの限界、すなわち低い局所的忠実性、弱い長期予測性能、低いスケーラビリティ、非効率性を解消する。
• 物理系における局所的およびグローバルな空間的依存関係を効果的に捉える統合的フレームワークを開発する。
• タスク固有のアーキテクチャ再設計なしに、多様なデータセットおよびタスクにおいて効率的かつスケーラブルな学習と推論を可能にする。
• 一般化性能が強く、収束が速く、長期予測において微細な局所的ダイナミクスを保持する。

提案手法

• 局所的空間的詳細とダイナミクスを保持するため、並列な局所的畳み込みモジュールを統合し、高い局所的忠実性を確保する。
• 長距離の空間的依存関係とグローバルな相互作用をモデル化するため、グローバルなフォーリエベースのトランスフォーマー（FoTF）モジュールを採用する。
• 局所的およびグローバルなモジュールを分離型空間エンコーダーを介して結合し、マルチスケールの空間表現を捉える。
• 複雑な時系列的変化を効率的にモデル化するため、マルチスケール完全畳み込み型かつフォーリエベースの時系列モジュール（TeDev）を用いる。
• 柔軟で任意長の未来フレーム予測を可能にするために、特徴マップの復元と線形時間-チャネル変換を組み合わせた二段階のデコーダーを設計する。
• アーキテクチャの再設計なしに、データセット全体で一貫した性能向上が得られるように、単純なモデルスケーリング（例：幅と深さ）を適用する。

Figure 1: A natural phenomenon in which global and local evolution are inconsistent. The hurricanes primarily exhibit clockwise rotation while in certain localized areas, the presence of convection results in the emergence of counterclockwise rotation.

実験結果

リサーチクエスチョン

• RQ1 統合モデルは、時空間的物理系において、同時に高い局所的忠実性と強力なグローバルモデリングを達成できるか？
• RQ2 提案されたフレームワークは、既存の最先端モデルと比較して、長期間予測タスクでどの程度の性能を示すか？
• RQ3 局所的畳み込みとグローバルなフォーリエベースのトランスフォーマーの統合が、スケーラビリティと効率性をどの程度向上させるか？
• RQ4 アーキテクチャの変更なしに、自然および人為的物理系を含む多様なデータセットに一般化できるか？

主な発見

• EarthFarseer は、自然物理的（例：2DSWE, SEVIR）および社会的（例：TaxiBJ+, MovingMNIST）システムを含む8つの多様なデータセットで最先端の性能を達成した。
• VideoODEと比較して、学習時間を約75％短縮し、優れた学習効率を示した。
• 長期間予測（例：2DSWEで50→50フレーム）において、ベースラインを大きく上回り、特に空間的詳細の維持において顕著な優位性を示した。
• アブレーションスタディの結果、局所的畳み込み（LC）またはフォーリエベースのトランスフォーマー（FoTF）モジュールを除去すると、TaxiBJ+ でそれぞれ 0.7 および 0.3 の MAE の低下が生じた。
• TeDev 時系列モジュールは、ViT や SwinT に置き換えられた場合にも優れた性能を示し、時系列ダイナミクスモデリングにおける優位性を裏付けた。
• 可視化結果から、EarthFarseer はグローバルパターンが異なる場合でも、局所的ダイナミクス（例：ハリケーンにおける反時計回りの渦）を保持していることが確認され、強力な局所的忠実性を実証した。

Figure 2: Left. We showcase the performance comparisons between our model and SOTA models across diverse domains. Middle. Convergence of our model compared to other models across different datasets. Right. Our model demonstrates exceptional capability in addressing long-time steps prediction problem