[論文レビュー] Knowledge distillation with error-correcting transfer learning for wind power prediction

Hao Chen|arXiv (Cornell University)|Apr 1, 2022

Energy Load and Power Forecasting被引用数 5

ひとこと要約

本論文は、風力発電予測のための新規な知識蒸留および誤差補正型転移学習フレームワークを提案する。このフレームワークにより、事前に学習されたパーキングレベルのモデルから知識を転送し、転移学習による誤差補正を施すことで、低コストかつ高精度なタービン単位のモデリングが可能となる。本手法は、多様な地形を有する5基の北極地域のタービンにおいて、ベースライン手法を3.3%から23.9%まで上回る性能向上を達成した。

ABSTRACT

Wind power prediction, especially for turbines, is vital for the operation, controllability, and economy of electricity companies. Hybrid methodologies combining advanced data science with weather forecasting have been incrementally applied to the predictions. Nevertheless, individually modeling massive turbines from scratch and downscaling weather forecasts to turbine size are neither easy nor economical. Aiming at it, this paper proposes a novel framework with mathematical underpinnings for turbine power prediction. This framework is the first time to incorporate knowledge distillation into energy forecasting, enabling accurate and economical constructions of turbine models by learning knowledge from the well-established park model. Besides, park-scale weather forecasts non-explicitly are mapped to turbines by transfer learning of predicted power errors, achieving model correction for better performance. The proposed framework is deployed on five turbines featuring various terrains in an Arctic wind park, the results are evaluated against the competitors of ablation investigation. The major findings reveal that the proposed framework, developed on favorable knowledge distillation and transfer learning parameters tuning, yields performance boosts from 3.3 % to 23.9 % over its competitors. This advantage also exists in terms of wind energy physics and computing efficiency, which are verified by the prediction quality rate and calculation time.

研究の動機と目的

• 風力発電予測において、個々のタービンモデルを新規に訓練する高コスト・高複雑性の問題に対処すること。
• 確立されたパーキングスケールのモデルからの知識を活用することで、個々のタービンの予測精度を向上させること。
• 明示的な気象予報のタービンレベルへのダウンスケーリングを伴わずに、転移学習を用いてタービンレベルの予測誤差を補正すること。
• 多様な地形条件における風力発電予測の計算効率と物理的一致性を向上させること。

提案手法

• 知識蒸留を用いて、事前に学習済みのパーキングレベルのモデルから個々のタービンモデルへの知識転送を実施する。
• 学生タービンモデルは、パーキングモデルの出力を模倣するように訓練され、個別に広範な訓練を実施する必要が軽減される。
• 誤差補正型転移学習を導入し、パーキングモデルの予測誤差を個々のタービンにマッピングする。
• 二段階のプロセスを用いる：まず知識蒸留によるモデル初期化を行い、次に転移学習による誤差補正を実施する。
• モデルパラメータを最適化することで、知識転送と誤差補正の性能を向上させる。
• 空間的・時間的誤差パターンを学習することで、タービンレベルへの気象予報の明示的ダウンスケーリングを回避する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、パーキングレベルのモデルから個々のタービンモデルへの予測知識を効果的に転送できるか？
• RQ2 明示的な気象予報のダウンスケーリングを伴わずに、誤差補正型転移学習はどのようにタービンスケールの風力発電予測を改善するか？
• RQ3 このハイブリッドフレームワークを用いることで、予測精度および計算効率にどの程度の向上が達成できるか？
• RQ4 多様な地形条件において、このフレームワークは風力エネルギーの原則にどの程度物理的一致性を保っているか？
• RQ5 実世界の北極風力発電所環境において、このフレームワークはベースライン手法をどの程度上回るか？

主な発見

• 提案されたフレームワークは、比較モデルを3.3%から23.9%まで上回る性能向上を、タービン発電量予測において達成した。
• 知識蒸留と効率的な誤差補正により、計算コストを低減しつつ、予測精度を顕著に向上させた。
• 予測品質率指標による検証により、風力エネルギーの原則に強く物理的一致性を保った。
• 北極風力発電所に存在する地形が異なる5基のタービンにおいて、本モデルは頑健性を示した。
• 個々のタービンの訓練や明示的な気象予報のダウンスケーリングへの依存度を低減したため、スケーラビリティとコスト効率が向上した。
• アブレーションスタディにより、知識蒸留と誤差補正型転移学習の両方が、観察された性能向上に不可欠であることが確認された。