[论文解读] Application of BERT in Wind Power Forecasting-Teletraan's Solution in Baidu KDD Cup 2022

Longxing Tan, Hongying Yue|arXiv (Cornell University)|Jul 18, 2023

Energy Load and Power ForecastingEngineering被引用 3

一句话总结

本论文针对百度KDD Cup 2022中的长期风电功率预测任务，提出了一种基于BERT的模型，通过单个BERT模块捕捉时间依赖性，并结合后处理方法以强化每日周期性，从而提升预测性能。该方案在2,490支队伍中取得第三名，通过序列建模与简单但高效的每日波动调整相结合，实现了优异表现。

ABSTRACT

Nowadays, wind energy has drawn increasing attention as its important role in carbon neutrality and sustainable development. When wind power is integrated into the power grid, precise forecasting is necessary for the sustainability and security of the system. However, the unpredictable nature and long sequence prediction make it especially challenging. In this technical report, we introduce the BERT model applied for Baidu KDD Cup 2022, and the daily fluctuation is added by post-processing to make the predicted results in line with daily periodicity. Our solution achieves 3rd place of 2490 teams. The code is released athttps://github.com/LongxingTan/KDD2022-Baidu

研究动机与目标

• 解决高时间变异性与不可预测性带来的长期序列风电功率预测挑战。
• 利用BERT模型捕捉风电功率时间序列中的长程时间依赖关系的能力。
• 通过后处理引入每日周期性，提升预测精度，因为模型本身未能学习到该模式。
• 在严格推理时间约束（测试推理时间不超过10小时）下实现高性能。
• 评估BERT相较于其他深度学习模型与传统模型在真实风电功率预测场景下的有效性。

提出的方法

• 对每个风力发电机，应用单个BERT模块，建模14天内10分钟间隔的历史风电功率序列。
• 以风速与风向作为输入特征，除目标变量外，对所有特征进行最小-最大归一化。
• 在风电功率序列上采用掩码自编码器预训练策略，以学习时间模式。
• 通过添加与预测起始时间对齐的归一化、缩放后的每日波动模式，实现后处理。
• 使用36倍（对较大值使用1.1倍）的放大系数增强每日波动效应，通过本地验证进行校准。
• 使用RMSE损失与Adam优化器进行训练，批量大小为1024，共训练3个周期。

实验结果

研究问题

• RQ1 单个BERT模型能否有效捕捉风电功率时间序列中的长程时间依赖关系，以实现48小时预测？
• RQ2 当模型本身无法捕捉周期性时，通过学习到的每日波动模式进行后处理，是否能显著提升预测精度？
• RQ3 在准确率与推理效率方面，BERT建模相较于其他深度学习模型（如LSTM、TCN、Transformer）表现如何？
• RQ4 在同质化风力发电机数据下，空间特征或时空模型在风电功率预测中能带来多大程度的性能提升？
• RQ5 仅使用最小特征集（风速与风向）是否能在不引入温度或滞后/滚动特征的情况下取得具有竞争力的结果？

主要发现

• BERT模型在第二阶段本地验证中取得58.1分，排行榜得分为44.6，位列2,490支队伍中的第三名。
• 通过缩放并时间对齐的每日波动模式进行后处理，显著提升了预测的周期性，且优于端到端模型学习该模式的效果。
• 在深度学习模型中，BERT在本地与排行榜得分上均优于LSTM、TCN与Transformer，RMSE为365，MAE为299。
• 时空模型如GCN-LSTM的本地得分较低（54.5分），但在排行榜上表现较弱，表明在该同质化数据集中，空间建模的收益有限。
• 统计模型如KNN与LightGBM的表现劣于深度学习模型，表明复杂时间模式需要深度神经网络架构。
• 最终方案对概念漂移具有鲁棒性，通过在最终阶段使用第二阶段最佳模型进行微调，维持了稳定性能。