[论文解读] Benchmarking State Space Models, Transformers, and Recurrent Networks for US Grid Forecasting

Sunki Hong, Jisoo lee|arXiv (Cornell University)|Feb 24, 2026

Energy Load and Power Forecasting被引用 0

一句话总结

一个全面的基准测试，将五种深度学习架构（两个状态空间模型、两个 Transformer、一个 LSTM）用于按小时的美国电网负荷预测，覆盖六个 ISO，在有无天气协变量的情况下，以及对太阳能、风能和价格的一般化。没有单一赢家；性能取决于数据和任务。

ABSTRACT

Selecting the right deep learning model for power grid forecasting is challenging, as performance heavily depends on the data available to the operator. This paper presents a comprehensive benchmark of five modern neural architectures: two state space models (PowerMamba, S-Mamba), two Transformers (iTransformer, PatchTST), and a traditional LSTM. We evaluate these models on hourly electricity demand across six diverse US power grids for forecast windows between 24 and 168 hours. To ensure a fair comparison, we adapt each model with specialized temporal processing and a modular layer that cleanly integrates weather covariates. Our results reveal that there is no single best model for all situations. When forecasting using only historical load, PatchTST and the state space models provide the highest accuracy. However, when explicit weather data is added to the inputs, the rankings reverse: iTransformer improves its accuracy three times more efficiently than PatchTST. By controlling for model size, we confirm that this advantage stems from the architecture's inherent ability to mix information across different variables. Extending our evaluation to solar generation, wind power, and wholesale prices further demonstrates that model rankings depend on the forecast task: PatchTST excels on highly rhythmic signals like solar, while state space models are better suited for the chaotic fluctuations of wind and price. Ultimately, this benchmark provides grid operators with actionable guidelines for selecting the optimal forecasting architecture based on their specific data environments.

研究动机与目标

• 在六个 US ISOs 上，使用一致的预处理和训练协议，评估五种神经网络架构（PowerMamba、S-Mamba、iTransformer、PatchTST、LSTM）在小时系统层负荷预测的准确性。
• 评估天气协变量（与热迟滞对齐）对各架构预测准确性的影响。
• 检查架构在处理多变量输入和不同电网相关预测任务（负荷、太阳、风、价格）方面的差异。
• 为电网运营商提供基于数据特征和可用协变量的预测模型选择的可操作性指南。

提出的方法

• 覆盖三大族的五个模型基准测试：两个状态空间模型（PowerMamba、S-Mamba）、两个 Transformer（iTransformer、PatchTST）、以及一个 LSTM。
• 为每个模型搭建时序嵌入（小时、日）以及针对固定回顾窗口的双向编码。
• 引入与架构匹配的天气融合层，开关可在不重新训练的情况下开启/关闭，以实现公平的天气整合比较。
• 在相同的预处理和天气实验的往前回测条件下进行评估，预测区间为 W = 24, 48, 72, 96, 168 小时。
• 用 MSE (%)、MAPE (%) 和预测误差尾部（P0.5、P99.5）来衡量性能，以刻画集中趋势与尾部。

(a) S-Mamba: Early Fusion via Summation

实验结果

研究问题

• RQ1 在仅负荷条件下，哪一架构在多样化的 US ISOs 上能获得最佳负荷预测准确性？
• RQ2 天气协变量的引入如何影响各架构的预测准确性，哪种融合策略最有效？
• RQ3 架构优势是否在不同的电网相关预测任务（负荷、太阳、风、批发价格）中保持一致，还是任务相关？
• RQ4 在引入天气协变量时，若对比参数量以控制模型容量，是否会改变架构的相对性能？
• RQ5 对于电网运营商而言，在数据环境与运行时 horizon 的基础上，能得出哪些实用的预测模型选择指南？

主要发现

• PatchTST 在多数网格的单负荷 MAPE 上最常达到最佳，在若干时域上表现突出。
• 状态空间模型（PowerMamba、S-Mamba）具备竞争力，并在运营部署中提供有利的推理复杂度（O(n)）。
• 当仅使用一个负荷变数时 iTransformer 表现不佳，但在引入天气协变量后有所提升，凸显跨变量注意力的重要性。
• 天气协变量通常提升所有架构的表现，且在对天气敏感的网格上 iTransformer 收获最大；由于基线较强，PatchTST 的增益在某些情形较小。
• 在容量受控的比较中，当隐藏维度相匹配时，天气引入的优势发生转移，揭示多变量整合的架构相关收益。
• 对太阳、风和价格的泛化显示 PatchTST 在高度节律性信号（太阳能）上表现出色，而状态空间模型在捕捉混沌性波动（风、价格）方面更具优势。

(b) PowerMamba: Summation into decomposed streams