[논문 리뷰] Earthfarseer: Versatile Spatio-Temporal Dynamical Systems Modeling in One Model

Hao Wu, Yuxuan Liang외 5명|arXiv (Cornell University)|2023. 12. 13.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

EarthFarseer는 국소적 컨볼루션과 푸리에 기반 트랜스포머를 병렬로 통합하여 국소적 및 전역적 공간적 상관관계를 포착하는 통합된 시공간 모델링 프레임워크이다. 동시에 다중 척도의 완전 컨볼루션형 및 푸리에 기반 시간 모듈을 사용하여 장기 예측의 효율성을 높인다. 이는 여덟 가지 다양한 물리적 및 사회적 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 빠른 수렴 속도, 높은 국소 정밀도, 그리고 단축된 학습 시간을 제공한다.

ABSTRACT

Efficiently modeling spatio-temporal (ST) physical processes and observations presents a challenging problem for the deep learning community. Many recent studies have concentrated on meticulously reconciling various advantages, leading to designed models that are neither simple nor practical. To address this issue, this paper presents a systematic study on existing shortcomings faced by off-the-shelf models, including lack of local fidelity, poor prediction performance over long time-steps,low scalability, and inefficiency. To systematically address the aforementioned problems, we propose an EarthFarseer, a concise framework that combines parallel local convolutions and global Fourier-based transformer architectures, enabling dynamically capture the local-global spatial interactions and dependencies. EarthFarseer also incorporates a multi-scale fully convolutional and Fourier architectures to efficiently and effectively capture the temporal evolution. Our proposal demonstrates strong adaptability across various tasks and datasets, with fast convergence and better local fidelity in long time-steps predictions. Extensive experiments and visualizations over eight human society physical and natural physical datasets demonstrates the state-of-the-art performance of EarthFarseer. We release our code at https://github.com/easylearningscores/EarthFarseer.

연구 동기 및 목표

• 기존 시공간 모델의 한계, 즉 낮은 국소 정밀도, 약한 장기 예측 성능, 낮은 확장성, 효율성 부족 문제를 해결한다.
• 물리 시스템에서 국소적 및 전역적 공간적 상관관계를 효과적으로 포착할 수 있는 통합 프레임워크를 개발한다.
• 특수 작업용 아키텍처 재설계 없이도 다양한 데이터셋과 작업에서 효율적이고 확장 가능한 학습 및 추론을 가능하게 한다.
• 강력한 일반화 능력과 빠른 수렴 속도를 확보하면서도 장기 예측에서 세밀한 국소 역학을 유지한다.

제안 방법

• 국소 공간 세부 정보와 역학을 유지하기 위해 병렬 국소 컨볼루션 모듈을 통합하여 높은 국소 정밀도를 확보한다.
• 장거리 공간적 상관관계와 전역 상호작용을 모델링하기 위해 글로벌 푸리에 기반 트랜스포머(FoTF) 모듈을 활용한다.
• 국소 및 전역 모듈을 분리된 공간 인코더를 통해 결합하여 다중 척도 공간 표현을 포착한다.
• 복잡한 시간적 진화를 효율적으로 모델링하기 위해 다중 척도의 완전 컨볼루션형 및 푸리에 기반 시간 모듈(TeDev)을 사용한다.
• 유연하고 임의의 길이의 미래 프레임 예측을 가능하게 하기 위해 특징 맵 복원 및 선형 시간-채널 투영을 포함한 이단계 디코더를 설계한다.
• 아키텍처 재설계 없이도 너비 및 깊이와 같은 단순한 모델 확장 기법을 통해 다양한 데이터셋에서 일관된 성능 향상을 달성한다.

Figure 1: A natural phenomenon in which global and local evolution are inconsistent. The hurricanes primarily exhibit clockwise rotation while in certain localized areas, the presence of convection results in the emergence of counterclockwise rotation.

실험 결과

연구 질문

• RQ1 통합된 모델이 시공간 물리 시스템에서 동시에 높은 국소 정밀도와 강력한 전역 모델링 성능을 달성할 수 있는가?
• RQ2 기존 최신 기술 수준(SOTA) 모델 대비 제안된 프레임워크는 장기 예측 과제에서 어떻게 성능을 내는가?
• RQ3 국소 컨볼루션과 글로벌 푸리에 기반 트랜스포머의 통합이 확장성과 효율성 향상에 얼마나 기여하는가?
• RQ4 특수 아키텍처 수정 없이도 자연계 및 인간 기반 물리 시스템을 포함한 다양한 데이터셋 간에 일반화가 가능한가?

주요 결과

• EarthFarseer는 자연 물리적(예: 2DSWE, SEVIR) 및 사회적(예: TaxiBJ+, MovingMNIST) 시스템을 포함한 여덟 가지 다양한 데이터셋에서 최신 기술 수준 성능을 달성한다.
• VideoODE 대비 학습 시간을 약 75% 감소시켜 뛰어난 학습 효율성을 입증한다.
• 장기 예측(예: 2DSWE에서 50→50 프레임) 상황에서 기준 모델 대비 유의미한 격차로 승리하며, 특히 공간 세부 정보 유지 능력이 뛰어나다.
• 제거 실험 결과, 국소 컨볼루션(LC) 또는 푸리에 기반 트랜스포머(FoTF) 구성 요소를 제거할 경우 TaxiBJ+에서 각각 0.7 및 0.3 MAE 성능 저하가 발생한다.
• TeDev 시간 모듈은 ViT 및 SwinT를 대체로 사용했을 때도 승리하며, 시간 역학 모델링에 있어 그 우월성을 입증한다.
• 시각화 결과, EarthFarseer는 전역 패턴이 다를 경우에도 국소 역학(예: 허리케인의 반시계방향 소용돌이)을 유지함으로써 강력한 국소 정밀도를 입증한다.

Figure 2: Left. We showcase the performance comparisons between our model and SOTA models across diverse domains. Middle. Convergence of our model compared to other models across different datasets. Right. Our model demonstrates exceptional capability in addressing long-time steps prediction problem