[論文レビュー] OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning

Cheng Tan, Siyuan Li+6 more|arXiv (Cornell University)|Jun 20, 2023

Time Series Analysis and Forecasting被引用数 31

ひとこと要約

OpenSTLは時空予測学習の統一ベンチマークを提供し、合計14手法（リカレント型とリカレントフリー）を合成データと実世界データセットで比較し、MetaFormersで補強されたリカレントフリー型モデルの効率性優位性を強調する。

ABSTRACT

Spatio-temporal predictive learning is a learning paradigm that enables models to learn spatial and temporal patterns by predicting future frames from given past frames in an unsupervised manner. Despite remarkable progress in recent years, a lack of systematic understanding persists due to the diverse settings, complex implementation, and difficult reproducibility. Without standardization, comparisons can be unfair and insights inconclusive. To address this dilemma, we propose OpenSTL, a comprehensive benchmark for spatio-temporal predictive learning that categorizes prevalent approaches into recurrent-based and recurrent-free models. OpenSTL provides a modular and extensible framework implementing various state-of-the-art methods. We conduct standard evaluations on datasets across various domains, including synthetic moving object trajectory, human motion, driving scenes, traffic flow and weather forecasting. Based on our observations, we provide a detailed analysis of how model architecture and dataset properties affect spatio-temporal predictive learning performance. Surprisingly, we find that recurrent-free models achieve a good balance between efficiency and performance than recurrent models. Thus, we further extend the common MetaFormers to boost recurrent-free spatial-temporal predictive learning. We open-source the code and models at https://github.com/chengtan9907/OpenSTL.

研究の動機と目的

• リカレントフリーなアーキテクチャが時空予測においてリカレントベースのモデルと同等になり得るかを明らかにする。
• 多様なSTL手法のモジュール実装を備えた標準化・拡張性のあるベンチマークフレームワークを提供する。
• 合成データ、ヒトモーション、運転シーン、交通、気象予測データセットにわたる性能・効率・頑健性を評価する。
• STL性能に影響を与えるアーキテクチャ特性とデータセット特性への洞察を提供する。

提案手法

• OpenSTLの下で14のSTL手法を統一実装し、リカレントベースとリカレントフリーに分類する。
• MetaFormersを用いたリカレントフリーモデルの拡張を通じて時系列モデリングを強化する。
• 合成軌跡、ヒトモーション、運転シーン、交通フロー、WeatherBenchデータセットにわたる多様な評価プロトコル。
• MSE/MAE、SSIM/PSNR、LPIPS、パラメータ数、FLOPs、FPSを含む総合指標。
• 標準化されたデータセット/統計カタログ（24モデル、複数タスク）とtrain/test分割および設定。
• OpenSTLリポジトリでのコードとモデルのオープンソース公開。

実験結果

リサーチクエスチョン

• RQ1 多様なタスクにおいて、リカレントフリースパatio-temporalモデルはリカレントベースのモデルと同等の性能を達成できるか？
• RQ2 高解像度・低解像度データの予測精度を維持しつつ、リカレントフリーモデルはFLOPsやFPSなどの効率性を向上させられるか？
• RQ3 データセットの特性（周波数、解像度、ドメイン）はリカレントベースとリカレントフリーのアプローチの相対的な強みにどう影響するか？
• RQ4 MetaFormer風の時系列モジュールはリカレントフリーのSTL性能を向上させるか？
• RQ5 欠損・動的・遮蔽された入力条件下で、両方のモデルファミリの頑健性と一般化特性はどうなるか？

主な発見

Method	Params (M)	FLOPs (G)	FPS	MSE ↓	MAE ↓	SSIM ↑	PSNR ↑
ConvLSTM	15.0	56.8	113	29.80	90.64	0.9288	22.10
PredNet	12.5	8.4	659	161.38	201.16	0.7783	14.67
PredRNN	23.8	116.0	54	23.97	72.82	0.9462	23.28
PredRNN++	38.6	171.7	38	22.06	69.58	0.9509	23.65
MIM	38.0	179.2	37	22.55	69.97	0.9498	23.56
E3D-LSTM	51.0	298.9	18	35.97	78.28	0.9320	21.11
CrevNet	5.0	270.7	10	30.15	86.28	0.9350	22.15
PhyDNet	3.1	15.3	182	28.19	78.64	0.9374	22.62
MAU	4.5	17.8	201	26.86	78.22	0.9398	22.57
PredRNNv2	23.9	116.6	52	24.13	73.73	0.9453	23.21
DMVFN	3.5	0.2	1145	123.67	179.96	0.8140	16.15
SimVP	58.0	19.4	209	32.15	89.05	0.9268	21.84
TAU	44.7	16.0	283	24.60	71.93	0.9454	23.19
SimVPv2	46.8	16.5	282	26.69	77.19	0.9402	22.78
ViT	46.1	16.9	290	35.15	95.87	0.9139	21.67
Swin Transformer	46.1	16.4	294	29.70	84.05	0.9331	22.22
Uniformer	44.8	16.5	296	30.38	85.87	0.9308	22.13
MLP-Mixer	38.2	14.7	334	29.52	83.36	0.9338	22.22
ConvMixer	3.9	5.5	658	32.09	88.93	0.9259	21.93
Poolformer	37.1	14.1	341	31.79	88.48	0.9271	22.03
ConvNext	37.3	14.1	344	26.94	77.23	0.9397	22.74
VAN	44.5	16.0	288	26.10	76.11	0.9417	22.89
HorNet	45.7	16.3	287	29.64	83.26	0.9331	22.26
MogaNet	46.8	16.5	255	25.57	75.19	0.9429	22.99

• リカレントフリーモデルは、特に高解像度で、効率と性能のバランスをリカレントベースモデルよりも良く取ることが多い。
• Moving MNISTでは、多くのリカレントフリーモデルが、リカレントベースの counterparts に比べてFPSが著しく高く、FLOPsが低い一方で競争力のあるMSE/MAEを達成している。
• Kitti&Caltechのような現実世界のタスクでは、リカレントフリーアーキテクチャが強力な指標を維持しつつ、リカレントベースモデルより計算コストを削減する。
• WeatherBenchなどの気象予測全般では、リカレントフリーはMAE/RMSEでリカレントベースより優れており、マクロスケールの適用性を示す。
• MetaFormersを用いたリカレントフリーモデルの拡張は時系列モデリングと全体の性能を高める。
• 頑健性分析は、欠損や遮蔽されたフレームに対してリカレントフリーモデルがリカレントベースモデルよりも耐性があることを示している。