[논문 리뷰] Spatio-Temporal Wind Speed Forecasting using Graph Networks and Novel Transformer Architectures

Lars Ødegaard Bentsen, Narada Dilp Warakagoda외 2명|arXiv (Cornell University)|2022. 08. 29.

Energy Load and Power Forecasting인용 수 5

한 줄 요약

이 논문은 노르웨이 대륙붕의 14개 해상 정류소 간의 공간적 상관관계와 시간적 동적 변화를 모델링하기 위해 수정된 트랜스포머 아키텍처를 사용한 그래프 신경망(GNN)을 활용한 새로운 시공간 바람속도 예측 프레임워크를 제안한다. 파형 및 푸리에 변환 기반 주기성 주목적에 의해 추세와 주기적 성분을 분리하는 새로운 아키텍처인 빠른 푸리에 트랜스포머(FFTransformer)는 모든 기준 모델보다 뛰어난 성능을 보이며, 특히 4시간 예측에서 두각을 나타내어 다단계 바람속도 예측 분야에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

This study focuses on multi-step spatio-temporal wind speed forecasting for the Norwegian continental shelf. The study aims to leverage spatial dependencies through the relative physical location of different measurement stations to improve local wind forecasts. Our multi-step forecasting models produce either 10-minute, 1- or 4-hour forecasts, with 10-minute resolution, meaning that the models produce more informative time series for predicted future trends. A graph neural network (GNN) architecture was used to extract spatial dependencies, with different update functions to learn temporal correlations. These update functions were implemented using different neural network architectures. One such architecture, the Transformer, has become increasingly popular for sequence modelling in recent years. Various alterations have been proposed to better facilitate time series forecasting, of which this study focused on the Informer, LogSparse Transformer and Autoformer. This is the first time the LogSparse Transformer and Autoformer have been applied to wind forecasting and the first time any of these or the Informer have been formulated in a spatio-temporal setting for wind forecasting. By comparing against spatio-temporal Long Short-Term Memory (LSTM) and Multi-Layer Perceptron (MLP) models, the study showed that the models using the altered Transformer architectures as update functions in GNNs were able to outperform these. Furthermore, we propose the Fast Fourier Transformer (FFTransformer), which is a novel Transformer architecture based on signal decomposition and consists of two separate streams that analyse the trend and periodic components separately. The FFTransformer and Autoformer were found to achieve superior results for the 10-minute and 1-hour ahead forecasts, with the FFTransformer significantly outperforming all other models for the 4-hour ahead forecasts.

연구 동기 및 목표

• 해상 풍력 에너지의 신뢰성 및 전력망 통합을 향상시키기 위해 단기 바람속도 예측을 개선하기 위해.
• 표준 트랜스포머가 장기 예측 및 다단계 바람 예측에 한계를 보이는 점을 해결하기 위해 특화된 주목적 메커니즘을 도입하기 위해.
• 스패티오토포럴 GNN 프레임워크 내에서 새로운 트랜스포머 변종인 LogSparse, Informer, Autoformer 및 새로운 아키텍처인 FFTransformer의 효과를 평가하기 위해.
• 파형 분해 기반 파형 분해 및 주파수 도메인 주목적 메커니즘이 장기 예측 성능 향상에 기여함을 입증하기 위해.
• 모든 모델, 특히 FFTransformer의 오픈소스 구현을 제공하여 재현 가능성 및 향후 연구를 가능하게 하기 위해.

제안 방법

• 14개 해상 풍력 정류소 간의 물리적 근접도를 기반으로 공간적 관계를 모델링하기 위해 그래프 신경망(GNN)을 사용한다.
• 시간적 의존성은 다양한 트랜스포머 기반 업데이트 함수를 사용하여 모델링한다. 이는 일반 트랜스포머, LogSparse, Informer, Autoformer 및 새로운 FFTransformer를 포함한다.
• FFTransformer는 파형 변환을 통해 바람속도 신호를 추세 및 주기적 성분으로 분해하며, 각 성분에 대해 별도의 주목적 스트림을 사용한다: 주기적 패턴에는 푸리에 변환 기반 주목적을, 추세에는 표준 자기주목적을 사용한다.
• GNN 프레임워크를 통해 10분 해상도에서 10분, 1시간, 4시간 예측 수준의 다단계 예측이 가능하다.
• 모델 성능 평가에는 MAE, RMSE 및 전력 예측 오차(kW 및 kWh 단위)를 활용하여 전력망 영향을 평가한다.
• 그래프 연결성 분석을 통해 공간 정보의 역할을 검증하였으며, 연결성을 제거할 경우 성능 저하가 발생함을 확인하였고, 이는 특히 장기 예측에서 두드러졌다.

실험 결과

연구 질문

• RQ1 수정된 트랜스포머 아키텍처가 표준 LSTMs 및 MLPs에 비해 다단계 시공간 바람속도 예측 성능을 향상시킬 수 있는가?
• RQ2 파형 분해 및 이중 스트림 주목적을 사용하는 새로운 FFTransformer 아키텍처가 기존 트랜스포머 변종보다 장기 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ3 멀리 떨어진 해상 정류소 간의 공간적 상관관계가 장기 예측 수준에서 정확도에 미치는 영향은 어떠한가?
• RQ4 다양한 주목적 메커니즘(예: ProbSparse, LogSparse)이 일반 트랜스포머에 비해 바람속도 예측 성능 향상에 얼마나 기여하는가?
• RQ5 예측 정확도가 바람 풍력 예측에 미치는 물리적 영향, 특히 에너지 수확량 및 전력망 안정성 측면에서 어떤가?

주요 결과

• FFTransformer는 전반적으로 최고의 성능을 기록하였으며, 4시간 예측에서 모든 다른 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 10분 및 1시간 예측에서는 Autoformer와 FFTransformer가 상위 성능를 기록하였고, FFTransformer는 4시간 예측에서 다른 모델 대비 전력 예측 정확도 5% 향상을 보였다.
• LogSparse 트랜스포머 및 Informer는 일반 트랜스포머 및 MLP 기준 모델 대비 약간의 성능 향상을 보였으며, 주로 향상된 주목적 메커니즘 덕분이었다.
• 공간적 상관관계는 1시간 및 4시간 예측에서 가장 유익했으며, 장기 예측 수준에서 먼 거리의 정류소 간 장거리 그래프 연결이 더 큰 도움을 주었다.
• 입력 데이터에서 그래프 연결성을 제거할 경우 성능 저하가 발생하였으며, 이는 GNN이 공간적 의존성을 효과적으로 활용하여 국소 예측 성능을 향상시켰음을 확인하였다.
• 본 연구는 FFTransformer에서 파형 분해 및 주파수 도메인 주목적 메커니즘이 바람속도 시계열 데이터의 장기 추세 및 주기적 패턴을 보다 우수하게 모델링할 수 있음을 입증하였다.