[論文レビュー] Model Selection, Adaptation, and Combination for Transfer Learning in Wind and Photovoltaic Power Forecasts

Jens Schreiber, Bernhard Sick|arXiv (Cornell University)|Apr 28, 2022

Solar Radiation and Photovoltaics被引用数 3

ひとこと要約

本稿では、モデル選択、ベイジアン適応、アンサンブル結合を用いた風力および太陽光発電予測のための転移学習フレームワークを提案する。事前学習モデルの最終層をベイジアン線形回帰に置き換え、ソフトゲーティングまたはベイジアンモデル平均を用いてモデルを結合することで、667か所の実世界の発電所において、最小限の7日間のターゲットデータで最先端の性能を達成し、予測誤差と計算コストの両方を顕著に低減する。

ABSTRACT

There is recent interest in using model hubs, a collection of pre-trained models, in computer vision tasks. To utilize the model hub, we first select a source model and then adapt the model for the target to compensate for differences. While there is yet limited research on model selection and adaption for computer vision tasks, this holds even more for the field of renewable power. At the same time, it is a crucial challenge to provide forecasts for the increasing demand for power forecasts based on weather features from a numerical weather prediction. We close these gaps by conducting the first thorough experiment for model selection and adaptation for transfer learning in renewable power forecast, adopting recent results from the field of computer vision on 667 wind and photovoltaic parks. To the best of our knowledge, this makes it the most extensive study for transfer learning in renewable power forecasts reducing the computational effort and improving the forecast error. Therefore, we adopt source models based on target data from different seasons and limit the amount of training data. As an extension of the current state of the art, we utilize a Bayesian linear regression for forecasting the response based on features extracted from a neural network. This approach outperforms the baseline with only seven days of training data. We further show how combining multiple models through ensembles can significantly improve the model selection and adaptation approach.

研究の動機と目的

• 新規の風力および太陽光発電所における歴史的データの不足に起因する課題に対処するため、モデルハブから事前学習済みモデルを活用すること。
• 転移学習を用いて、日次電力予測の精度を向上させるとともに、計算コストを低減すること。
• 再生可能エネルギー予測における、モデル選択、適応、結合の最適な戦略を調査すること。

提案手法

• 類似度指標として正規化平均二乗誤差（nRMSE）と周辺尤度（証拠）を用いて、モデルハブからソースモデルを選択する。
• 抽出された特徴量と限られたターゲットデータを用いて訓練されたベイジアン線形回帰（BLR）で、ソースモデルの最終層を置き換えることで、モデルを適応させる。
• ターゲットでの予測誤差に基づいて重みを割り当てる協調的で柔軟なソフトゲーティングアンサンブル（CSGE）を用いて、複数の適応済みモデルを結合する。
• 代替のアンサンブル戦略としてベイジアンモデル平均（BMA）を採用し、確率的予測を提供する。
• 667か所の風力および太陽光発電所を含む6つの実世界データセットで、ソースモデル（BELM、MLP、TCN）を訓練・評価する。
• 比較のためのベースラインモデルとして勾配ブースティング回帰木（GBRT）を用いる。

実験結果

リサーチクエスチョン

• RQ1 新規のターゲット発電所に対してモデルハブからソースモデルを選択するにあたり、適切な類似度指標とは何か？
• RQ2 ソースモデルが選択された後、最良の適応戦略は何か？
• RQ3 単一のモデルを選択・適応するのと比較して、複数のモデルを結合するアンサンブル戦略は知識統合に有効であるか？

主な発見

• ニューラルネットワークの最終層をベイジアン線形回帰（BLR）に置き換えることで、微調整よりも顕著に優れた性能を達成する。特にデータが限られた状況で顕著で、PVREALデータセットでは7日間の学習データでのnRMSEが最大9.8%まで低下する。
• ベイジアンモデル平均（BMA）アンサンブル戦略は、最小限のデータでも優れた結果を示し、PVOPENおよびPVREALデータセットでは最大30日間の学習データで他の手法を上回る。
• 協調的で柔軟なソフトゲーティングアンサンブル（CSGE）は、すべてのデータセットで単一モデルの適応やベースラインモデルを常に上回る性能を示し、複数モデルの結合による利点を実証する。
• 風力データセットでは、TCNソースモデルとBLR適応を組み合わせたCSGEが、30日以上の学習データで最良の結果を達成する。
• 30日未塔の学習データでも、提案手法は1年分のデータで学習されたモデルと同等の予測誤差率を達成する。
• アンサンブルにGBRTをソースモデルとして含めることで、性能がさらなる向上を示し、組み合わせアプローチの柔軟性を強調する。