[论文解读] Earthfarseer: Versatile Spatio-Temporal Dynamical Systems Modeling in One Model

Hao Wu, Yuxuan Liang+5 more|arXiv (Cornell University)|Dec 13, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

EarthFarseer 是一个统一的时空建模框架，通过并行的局部卷积与基于傅里叶的变换器相结合，捕捉局部和全局的空间依赖关系，同时采用多尺度全卷积与基于傅里叶的时空模块，实现高效的长时序动态建模。该模型在八个多样化物理与社会系统数据集上实现了最先进性能，具备快速收敛、高局部保真度以及更短的训练时间。

ABSTRACT

Efficiently modeling spatio-temporal (ST) physical processes and observations presents a challenging problem for the deep learning community. Many recent studies have concentrated on meticulously reconciling various advantages, leading to designed models that are neither simple nor practical. To address this issue, this paper presents a systematic study on existing shortcomings faced by off-the-shelf models, including lack of local fidelity, poor prediction performance over long time-steps,low scalability, and inefficiency. To systematically address the aforementioned problems, we propose an EarthFarseer, a concise framework that combines parallel local convolutions and global Fourier-based transformer architectures, enabling dynamically capture the local-global spatial interactions and dependencies. EarthFarseer also incorporates a multi-scale fully convolutional and Fourier architectures to efficiently and effectively capture the temporal evolution. Our proposal demonstrates strong adaptability across various tasks and datasets, with fast convergence and better local fidelity in long time-steps predictions. Extensive experiments and visualizations over eight human society physical and natural physical datasets demonstrates the state-of-the-art performance of EarthFarseer. We release our code at https://github.com/easylearningscores/EarthFarseer.

研究动机与目标

• 解决现有时空模型的局限性，包括局部保真度差、长期预测能力弱、可扩展性低以及效率不足。
• 开发一个统一框架，有效捕捉物理系统中局部与全局的空间依赖关系。
• 实现在无需针对任务重新设计架构的前提下，跨多样化数据集与任务实现高效且可扩展的训练与推理。
• 在保持长期预测中精细局部动态的前提下，实现强泛化能力与快速收敛。

提出的方法

• 集成并行的局部卷积模块以保留局部空间细节与动态，确保高局部保真度。
• 采用全局基于傅里叶的变换器（FoTF）模块，以建模长程空间依赖关系与全局交互。
• 通过解耦的空间编码器将局部与全局模块结合，以捕捉多尺度空间表征。
• 使用多尺度全卷积与基于傅里叶的时空模块（TeDev），以高效建模复杂的时序演化。
• 设计两阶段解码器，包含特征图恢复与线性时间-通道投影，以支持灵活的、任意长度的未来帧预测。
• 通过简单的模型缩放（如宽度与深度调整）实现跨数据集的一致性能提升，无需架构重新设计。

Figure 1: A natural phenomenon in which global and local evolution are inconsistent. The hurricanes primarily exhibit clockwise rotation while in certain localized areas, the presence of convection results in the emergence of counterclockwise rotation.

实验结果

研究问题

• RQ1 统一模型能否在时空物理系统中同时实现高局部保真度与强全局建模能力？
• RQ2 与现有最先进模型相比，所提出的框架在长时序预测任务中的表现如何？
• RQ3 将局部卷积与全局基于傅里叶的变换器相结合，在多大程度上提升了可扩展性与效率？
• RQ4 该模型能否在无需架构修改的前提下，泛化于涵盖自然与人为驱动物理系统的多样化数据集？

主要发现

• EarthFarseer 在八个多样化数据集上实现了最先进性能，涵盖自然物理系统（如 2DSWE、SEVIR）与社会系统（如 TaxiBJ+、MovingMNIST）。
• 与 VideoODE 相比，该模型将训练时间减少了近 75%，展现出卓越的训练效率。
• 在长时序预测任务中（如 2DSWE 上从 50 帧预测至 50 帧），EarthFarseer 显著优于基线模型，尤其在保持空间细节方面表现突出。
• 消融实验表明，若移除局部卷积（LC）或基于傅里叶的变换器（FoTF）组件，TaxiBJ+ 上的 MAE 分别上升 0.7 和 0.3。
• 当作为替代模块使用时，TeDev 时空模块在性能上优于 ViT 与 SwinT，表明其在时序动态建模方面的优越性。
• 可视化结果证实，即使全局模式存在差异，EarthFarseer 仍能保留局部动态（如飓风中的逆时针涡旋），证明其具备强大的局部保真度。

Figure 2: Left. We showcase the performance comparisons between our model and SOTA models across diverse domains. Middle. Convergence of our model compared to other models across different datasets. Right. Our model demonstrates exceptional capability in addressing long-time steps prediction problem