[论文解读] Knowledge distillation with error-correcting transfer learning for wind power prediction

Hao Chen|arXiv (Cornell University)|Apr 1, 2022

Energy Load and Power Forecasting被引用 5

一句话总结

本文提出了一种新颖的知识蒸馏与纠错性迁移学习框架，用于风力发电预测，通过从预训练的风电场级模型迁移知识，并利用迁移学习纠正预测误差，实现了在低成本、高精度的单个风力涡轮机建模。该方法在五台具有不同地形特征的北极地区涡轮机上，相较基线模型性能提升达3.3%至23.9%。

ABSTRACT

Wind power prediction, especially for turbines, is vital for the operation, controllability, and economy of electricity companies. Hybrid methodologies combining advanced data science with weather forecasting have been incrementally applied to the predictions. Nevertheless, individually modeling massive turbines from scratch and downscaling weather forecasts to turbine size are neither easy nor economical. Aiming at it, this paper proposes a novel framework with mathematical underpinnings for turbine power prediction. This framework is the first time to incorporate knowledge distillation into energy forecasting, enabling accurate and economical constructions of turbine models by learning knowledge from the well-established park model. Besides, park-scale weather forecasts non-explicitly are mapped to turbines by transfer learning of predicted power errors, achieving model correction for better performance. The proposed framework is deployed on five turbines featuring various terrains in an Arctic wind park, the results are evaluated against the competitors of ablation investigation. The major findings reveal that the proposed framework, developed on favorable knowledge distillation and transfer learning parameters tuning, yields performance boosts from 3.3 % to 23.9 % over its competitors. This advantage also exists in terms of wind energy physics and computing efficiency, which are verified by the prediction quality rate and calculation time.

研究动机与目标

• 为解决在风力发电预测中从零开始训练单个涡轮机模型所带来的高成本与高复杂性问题。
• 通过利用成熟可靠的风电场级模型的知识，提升单个涡轮机的预测精度。
• 通过迁移学习纠正涡轮机级别的预测误差，而无需显式进行气象数据下投。
• 在不同地形条件下提升风力发电预测的计算效率与物理一致性。

提出的方法

• 应用知识蒸馏技术，将预训练的风电场级模型的知识迁移至单个涡轮机模型。
• 学生模型通过模仿风电场模型的输出进行训练，从而减少对大规模独立训练的需求。
• 引入纠错性迁移学习，将风电场模型预测误差映射至单个涡轮机。
• 该框架采用两阶段流程：首先进行知识蒸馏以初始化模型，随后通过迁移学习实现误差校正。
• 对模型参数进行调优，以优化知识迁移与误差校正性能。
• 通过学习时空误差模式，避免了对气象预报数据显式下投至涡轮机级别的处理。

实验结果

研究问题

• RQ1 知识蒸馏能否有效将预测知识从风电场级模型迁移至单个涡轮机模型？
• RQ2 在不进行显式气象数据下投的情况下，纠错性迁移学习如何提升涡轮机级别的风力发电预测性能？
• RQ3 该混合框架在预测精度与计算效率方面可实现多大程度的性能提升？
• RQ4 该框架在不同地形条件下如何保持与风能原理一致的物理特性？
• RQ5 在真实北极风电场环境中，该框架相较于基线模型的性能优势有多大？

主要发现

• 所提出的框架在涡轮机功率预测中相较竞争模型实现了3.3%至23.9%的性能提升。
• 该方法通过知识蒸馏与高效误差校正显著提升了预测精度，同时降低了计算成本。
• 通过预测质量率指标验证，该框架与风能原理保持了良好的物理一致性。
• 该模型在北极风电场中五台具有不同地形条件的涡轮机上表现出强鲁棒性。
• 该框架减少了对单个涡轮机训练与显式气象数据下投的依赖，提升了可扩展性与成本效益。
• 消融实验结果证实，知识蒸馏与纠错性迁移学习对实现性能提升均至关重要。