[論文レビュー] Application of BERT in Wind Power Forecasting-Teletraan's Solution in Baidu KDD Cup 2022

Longxing Tan, Hongying Yue|arXiv (Cornell University)|Jul 18, 2023

Energy Load and Power ForecastingEngineering被引用数 3

ひとこと要約

この論文は、Baidu KDD Cup 2022における長期風力予測のためのBERTベースのモデルを提示している。1つのBERTブロックを用いて時間的依存性を活用し、予測値に日単位の周期性を強制するための後処理を施している。この手法は、系列モデルと単純だが効果的な日単位の変動補正を組み合わせることで、2,490チーム中3位を達成した。

ABSTRACT

Nowadays, wind energy has drawn increasing attention as its important role in carbon neutrality and sustainable development. When wind power is integrated into the power grid, precise forecasting is necessary for the sustainability and security of the system. However, the unpredictable nature and long sequence prediction make it especially challenging. In this technical report, we introduce the BERT model applied for Baidu KDD Cup 2022, and the daily fluctuation is added by post-processing to make the predicted results in line with daily periodicity. Our solution achieves 3rd place of 2490 teams. The code is released athttps://github.com/LongxingTan/KDD2022-Baidu

研究の動機と目的

• 高い時間的変動性と予測不能性を示す長期間の風力予測の課題に対処すること。
• BERTモデルが風力時系列データにおける長距離時間的依存性を捉える能力を活用すること。
• モデル単体ではこのパターンを学習できないため、後処理による日単位の周期性の組み込みで予測精度を向上させること。
• 厳密な推論時間制約（テスト推論に10時間）の下でも高いパフォーマンスを達成すること。
• 実世界の風力予測環境において、BERTと他のディープラーニングおよび伝統的モデルの比較評価を行うこと。

提案手法

• 各タービンの10分間隔での14日間の歴史的風力データを1つのBERTブロックでモデル化した。
• 風速と風向きを入力特徴量として使用し、ターゲットを除くすべての特徴量に最小最大正規化を適用した。
• 風力データ系列上でマスクド自己符号化器の事前学習戦略を採用し、時間的パターンを学習した。
• 予測値に、開始時刻に整合した正規化・スケーリングされた日単位の変動パターンを加えることで、後処理を実装した。
• 日単位の変動効果を強化するために、乗数36（および大きな値の場合1.1）を用い、ローカル検証を用いてキャリブレーションした。
• バッチサイズ1024、3エポックで、RMSE損失とAdamオプティマイザーを用いてモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 1つのBERTモデルは、48時間予測のための風力時系列データにおいて、長距離時間的依存性を効果的に捉えることができるか？
• RQ2 モデルが周期性を捉えられない場合、学習済みの日単位の変動パターンを用いた後処理は、予測精度を向上させるか？
• RQ3 精度と推論効率の観点から、BERTベースのモデリングはLSTM、TCN、Transformerなどの他のディープラーニングモデルと比べてどうか？
• RQ4 均質なタービンデータを用いた風力予測において、空間的特徴量や空間時系列モデルは性能をどの程度向上させるか？
• RQ5 気温やラグ・ローリング特徴量を含めない最小限の特徴量セット（風速と風向き）でも、競争力のある結果が得られるか？

主な発見

• BERTモデルは、フェーズIIでローカル検証スコア58.1、リーダーボードスコア44.6を達成し、2,490チーム中3位を獲得した。
• スケーリングされ、時間に整合した日単位の変動パターンを用いた後処理は、予測の周期性を著しく向上させ、モデルが直接学習するのと比べて優れた結果をもたらした。
• ディープラーニングモデルの中で、BERTはLSTM、TCN、Transformerを上回り、ローカルスコアおよびリーダーボードスコアで優位であった。RMSEは365、MAEは299であった。
• 空間時系列モデルであるGCN-LSTMはローカルスコア54.5を記録したが、リーダーボードでは効果が限定的であり、この均質なデータセットでは空間モデリングに明確な利点がないことが示唆された。
• 統計的モデル（KNN、LightGBM）はディープラーニングモデルより性能が低く、複雑な時間的パターンを捉えるには深層学習アーキテクチャが不可欠であることが示された。
• 最終的なソリューションはコンセプトドリフトに強く、フェーズIIIの最終段階でフェーズIIの最良モデルを再訓練することで、性能が維持された。