[論文レビュー] Spatio-Temporal Wind Speed Forecasting using Graph Networks and Novel Transformer Architectures

Lars Ødegaard Bentsen, Narada Dilp Warakagoda+2 more|arXiv (Cornell University)|Aug 29, 2022

Energy Load and Power Forecasting被引用数 5

ひとこと要約

本論文は、ノルウェー大陸棚の14か所の海洋風力発電所を対象として、空間的依存関係と時間的ダイナミクスをモデル化するため、修正されたトランスフォーマー・アーキテクチャを用いたグラフニューラルネットワーク（GNN）を用いた新規な時空間的風速予測フレームワークを提案する。Fast Fourier Transformer（FFTransformer）は、ウェーブレット変換とFFTベースのアテンションを用いてトレンド成分と周期成分に信号を分解する新規なアーキテクチャであり、すべてのベースラインを大きく上回り、特に4時間予測において顕著な性能向上を示した。これは、マルチステップ風速予測分野における最先端の性能を示している。

ABSTRACT

This study focuses on multi-step spatio-temporal wind speed forecasting for the Norwegian continental shelf. The study aims to leverage spatial dependencies through the relative physical location of different measurement stations to improve local wind forecasts. Our multi-step forecasting models produce either 10-minute, 1- or 4-hour forecasts, with 10-minute resolution, meaning that the models produce more informative time series for predicted future trends. A graph neural network (GNN) architecture was used to extract spatial dependencies, with different update functions to learn temporal correlations. These update functions were implemented using different neural network architectures. One such architecture, the Transformer, has become increasingly popular for sequence modelling in recent years. Various alterations have been proposed to better facilitate time series forecasting, of which this study focused on the Informer, LogSparse Transformer and Autoformer. This is the first time the LogSparse Transformer and Autoformer have been applied to wind forecasting and the first time any of these or the Informer have been formulated in a spatio-temporal setting for wind forecasting. By comparing against spatio-temporal Long Short-Term Memory (LSTM) and Multi-Layer Perceptron (MLP) models, the study showed that the models using the altered Transformer architectures as update functions in GNNs were able to outperform these. Furthermore, we propose the Fast Fourier Transformer (FFTransformer), which is a novel Transformer architecture based on signal decomposition and consists of two separate streams that analyse the trend and periodic components separately. The FFTransformer and Autoformer were found to achieve superior results for the 10-minute and 1-hour ahead forecasts, with the FFTransformer significantly outperforming all other models for the 4-hour ahead forecasts.

研究の動機と目的

• 海洋風力発電の信頼性と電力系統統合を向上させるため、短期的な風速予測を改善すること。
• 標準的なトランスフォーマーが長期間・マルチステップ風速予測において抱える限界を克服するため、特化したアテンション機構を導入すること。
• スパティオテンポラルなGNNフレームワーク内での新規なトランスフォーマー変種（LogSparse、Informer、Autoformer）および新規アーキテクチャ（FFTransformer）の有効性を評価すること。
• ウェーブレット変換と周波数ドメインアテンションによる信号分解が、長距離予測性能を向上させることを示すこと。
• すべてのモデル、特にFFTransformerのオープンソース実装を提供することで、再現可能性とさらなる研究を促進すること。

提案手法

• 物理的距離に基づき、14か所の海洋風力発電所間の空間的関係をグラフニューラルネットワーク（GNN）でモデル化する。
• 時間的依存関係は、ヴァリエーションを加えたトランスフォーマーに基づく更新関数（ヴァリエーションなし、LogSparse、Informer、Autoformer、および新規のFFTransformerを含む）を用いてモデル化する。
• FFTransformerは、ウェーブレット変換を用いて風速信号をトレンド成分と周期成分に分解し、それぞれに別々のアテンションストリームを割り当てる：周期的パターンにはFFTベースのアテンション、トレンド成分には通常の自己アテンションを用いる。
• GNNフレームワークにより、10分解像度で10分、1時間、4時間の予測をマルチステップで行う。
• モデルの性能は、MAE、RMSEに加え、電力予測誤差（kWおよびkWh単位）を用いて評価され、電力系統への影響を評価する。
• グラフ接続性をアブレーションすることで、空間的情報の役割を検証し、接続を削除すると性能が低下することが判明した。特に長期予測において顕著であった。

実験結果

リサーチクエスチョン

• RQ1 修正されたトランスフォーマー・アーキテクチャは、標準的なLSTMやMLPと比較して、マルチステップ時空間的風速予測を改善できるか？
• RQ2 信号分解とデュアルストリームアテンションを用いる本稿で提案するFFTransformerは、既存のトランスフォーマー変種よりも長期間予測において優れた性能を示すか？
• RQ3 遠く離れた海洋風力発電所間の空間的相関が、特に長期予測の精度にどのように影響を与えるか？
• RQ4 確率的スパース（ProbSparse）や対数スパース（LogSparse）などの異なるアテンション機構は、ヴァリエーションなしのトランスフォーマーと比較して、風速予測性能をどの程度向上させるか？
• RQ5 予測精度の物理的影響、特にエネルギー収量と電力系統安定性の観点から、風力発電予測に及ぼす影響はどの程度か？

主な発見

• FFTransformerは、4時間先予測において、すべての他のモデルを顕著に上回る最高の性能を達成した。
• 10分および1時間予測において、AutoformerとFFTransformerが最も優れた性能を示した。特に4時間予測では、FFTransformerが他のモデルと比較して電力予測精度で5%の改善を達成した。
• LogSparseトランスフォーマーとInformerは、ヴァリエーションなしのトランスフォーマーおよびMLPベースラインと比較してわずかな改善を示したが、主に強化されたアテンション機構によるものであった。
• 空間的相関は、1時間および4時間予測において最も効果的であり、長期予測では遠く離れた発電所間の長距離グラフ接続がより大きな利益をもたらした。
• 入力データからグラフ接続を削除すると予測性能が低下した。これは、GNNが空間的依存関係を効果的に活用して局所的予測を改善していることを確認した。
• 本研究は、FFTransformerにおける信号分解と周波数ドメインアテンションが、風速時系列における長期トレンドと周期的パターンの優れたモデル化を可能にすることを示した。