[论文解读] Model Selection, Adaptation, and Combination for Transfer Learning in Wind and Photovoltaic Power Forecasts

Jens Schreiber, Bernhard Sick|arXiv (Cornell University)|Apr 28, 2022

Solar Radiation and Photovoltaics被引用 3

一句话总结

本文提出了一种用于风能与光伏发电预测的迁移学习框架，结合模型选择、贝叶斯适应与集成组合。通过将预训练模型的最后几层替换为贝叶斯线性回归，并利用软门控或贝叶斯模型平均进行模型集成，该方法在仅使用七天目标数据的情况下即达到最先进性能，显著降低了667个真实风电与光伏电站的预测误差与计算成本。

ABSTRACT

There is recent interest in using model hubs, a collection of pre-trained models, in computer vision tasks. To utilize the model hub, we first select a source model and then adapt the model for the target to compensate for differences. While there is yet limited research on model selection and adaption for computer vision tasks, this holds even more for the field of renewable power. At the same time, it is a crucial challenge to provide forecasts for the increasing demand for power forecasts based on weather features from a numerical weather prediction. We close these gaps by conducting the first thorough experiment for model selection and adaptation for transfer learning in renewable power forecast, adopting recent results from the field of computer vision on 667 wind and photovoltaic parks. To the best of our knowledge, this makes it the most extensive study for transfer learning in renewable power forecasts reducing the computational effort and improving the forecast error. Therefore, we adopt source models based on target data from different seasons and limit the amount of training data. As an extension of the current state of the art, we utilize a Bayesian linear regression for forecasting the response based on features extracted from a neural network. This approach outperforms the baseline with only seven days of training data. We further show how combining multiple models through ensembles can significantly improve the model selection and adaptation approach.

研究动机与目标

• 为解决新风电与光伏电站历史数据有限的问题，通过模型中心的预训练模型进行迁移学习。
• 通过迁移学习提升日前功率预测的准确性并降低计算成本。
• 探究在可再生能源预测中模型选择、适应与组合的最优策略。

提出的方法

• 使用归一化均方根误差（nRMSE）和边缘似然（证据）作为相似性度量，从模型中心选择源模型。
• 通过将最后几层替换为在提取特征与有限目标数据上训练的贝叶斯线性回归（BLR），对源模型进行适应。
• 利用合作竞争型软门控集成（CSGE）将多个适应后的模型组合，根据其在目标数据上的预测误差对模型进行加权。
• 采用贝叶斯模型平均（BMA）作为替代的集成策略，提供概率性预测。
• 在六个真实世界数据集（包含667个风电与光伏电站）上训练并评估源模型（BELM、MLP、TCN）。
• 使用梯度提升回归树（GBRT）作为基线模型进行对比。

实验结果

研究问题

• RQ1 从模型中心为新目标电站选择源模型时，合适的相似性度量是什么？
• RQ2 选定源模型后，最佳的适应策略是什么？
• RQ3 与仅选择并适应单一模型相比，集成策略在知识组合方面是否具有优势？

主要发现

• 将神经网络的最后几层替换为贝叶斯线性回归（BLR）显著优于微调，尤其在数据有限时，仅使用七天训练数据即在PVREAL数据集上实现高达9.8%的nRMSE。
• 贝叶斯模型平均（BMA）集成策略在极少数据下表现优异，在PVOPEN与PVREAL数据集上，最多30天的训练数据即优于其他方法。
• 合作竞争型软门控集成（CSGE）在所有数据集上均持续优于单模型适应与基线模型，证明了多模型组合的优势。
• 对于风电数据集，使用TCN作为源模型并结合BLR适应的CSGE在超过30天训练数据时表现最佳。
• 即使训练数据少于30天，所提方法的预测误差率仍可与使用全年数据训练的模型相媲美。
• 在集成中引入GBRT作为源模型可进一步提升性能，凸显了该组合方法的灵活性。