[논문 리뷰] TCNFormer: Temporal Convolutional Network Former for Short-Term Wind Speed Forecasting

Abid Hasan Zim, Aquib Iqbal외 3명|arXiv (Cornell University)|2024. 08. 27.

Energy Load and Power Forecasting인용 수 4

한 줄 요약

이 논문은 12시간 단기 바람 속도 예측을 위한 하이브리드 딥러닝 모델인 TCNFormer을 제안한다. 이 모델은 시간적 컨volution 네트워크(TCN)와 이중주의 트랜스포머 인코더를 조합하여, 인과적 시간적 다중헤드 자기주의(CT-MSA)와 시간적 외부주의(TEA)를 통합함으로써 기존 최첨단 모델보다 더 효과적으로 장거리 의존성과 시공간 패턴을 포착한다. 실제 방글라데시의 바람 속도 데이터를 바탕으로 한 실험에서 뛰어난 예측 정확도를 달성하였다.

ABSTRACT

Global environmental challenges and rising energy demands have led to extensive exploration of wind energy technologies. Accurate wind speed forecasting (WSF) is crucial for optimizing wind energy capture and ensuring system stability. However, predicting wind speed remains challenging due to its inherent randomness, fluctuation, and unpredictability. This study proposes the Temporal Convolutional Network Former (TCNFormer) for short-term (12-hour) wind speed forecasting. The TCNFormer integrates the Temporal Convolutional Network (TCN) and transformer encoder to capture the spatio-temporal features of wind speed. The transformer encoder consists of two distinct attention mechanisms: causal temporal multi-head self-attention (CT-MSA) and temporal external attention (TEA). CT-MSA ensures that the output of a step derives only from previous steps, i.e., causality. Locality is also introduced to improve efficiency. TEA explores potential relationships between different sample sequences in wind speed data. This study utilizes wind speed data from the NASA Prediction of Worldwide Energy Resources (NASA POWER) of Patenga Sea Beach, Chittagong, Bangladesh (latitude 22.2352° N, longitude 91.7914° E) over a year (six seasons). The findings indicate that the TCNFormer outperforms state-of-the-art models in prediction accuracy. The proposed TCNFormer presents a promising method for spatio-temporal WSF and may achieve desirable performance in real-world applications of wind power systems.

연구 동기 및 목표

• 바람의 본질적 변동성과 비선형성으로 인해 정확한 단기 바람 속도 예측이 어려운 문제를 해결하기 위해.
• 기존 모델의 한계——예를 들어 RNN의 기울어짐 기울기 문제와 트랜스포머의 위치 인코딩 의존성——을 극복하기 위해 더 견고한 아키텍처를 설계하기 위해.
• 주의 메커니즘에 인과성, 국소성, 순서 간 관계를 통합하여 특징 학습을 향상시키기 위해.
• 방글라데시 패텐가 시해안의 실제 데이터를 사용하여 다양한 계절 조건에서 모델 성능을 평가하기 위해.

제안 방법

• TCNFormer 모델은 시퀀스 길이를 유지하고 인과적 처리를 가능하게 하기 위해 시간적 컨volution 네트워크(TCN)와 트랜스포머 인코더를 통합한다.
• 트랜스포머 인코더는 두 가지 주의 메커니즘을 사용한다: 인과적 시간적 다중헤드 자기주의(CT-MSA)는 인과성과 국소 수용 필드를 통해 효율성을 향상시킨다.
• CT-MSA는 표준 다중헤드 주의를 개선하여 자동회귀 제약 조건을 강제하고 국소적 맥락을 통합함으로써 시간적 특징 학습을 향상시킨다.
• 시간적 외부주의(TEA)는 두 개의 외부 메모리 유닛을 사용하여 서로 다른 샘플 시퀀스 간의 관계를 모델링함으로써 표현 학습을 풍부하게 한다.
• 모델은 패텐가 시해안의 1년 치 시간당 바람 속도 데이터를 기반으로 훈련되었으며, 6개의 서로 다른 계절을 포함한다.
• 제거 실험을 통해 CT-MSA와 TEA의 기여도를 검증하였으며, 제어된 실험에서 표준 다중헤드 주의로 대체하였다.

Figure 1: Govt. considered energy mix for 2041.

실험 결과

연구 질문

• RQ1 TCN와 트랜스포머 구성 요소를 조합한 하이브리드 아키텍처가 기존 모델 대비 단기 바람 속도 예측 정확도를 향상시킬 수 있는가?
• RQ2 CT-MSA의 인과성과 국소성은 바람 속도 시퀀스의 시간적 의존성 학습 능력에 어떤 영향을 미치는가?
• RQ3 시간적 외부주의(TEA)가 바람 속도 데이터의 순서 간 관계를 포착함으로써 특징 표현을 어느 정도 향상시키는가?
• RQ4 TCNFormer은 다양한 계절 패턴과 변동하는 바람 제도에서 높은 성능을 유지하는가?
• RQ5 정확도와 계산 효율성 측면에서 표준 RNN, CNN, 일반 트랜스포머와 비교해 볼 때 모델은 어떻게 성능을 내는가?

주요 결과

• TCNFormer은 Autoformer, Pyraformer, 일반 트랜스포머를 포함한 최첨단 모델들을 능가하여 12시간 바람 속도 예측 정확도에서 뛰어난 성능을 보였다.
• CT-MSA 통합은 표준 다중헤드 주의 대비 성능 향상에 크게 기여하였으며, 특히 인과성 유지와 정보 泄漏 감소에 유의미한 영향을 미쳤다.
• TEA 제거 시 성능 저하가 뚜렷하게 나타나, 이는 TEA가 순서 간 관계를 포착하는 데 핵심적인 역할을 한다는 것을 확인시켰다.
• 제거 실험 결과, CT-MSA와 TEA는 모두 필수적인 구성 요소임을 확인하였으며, CT-MSA는 국소적 시간적 모델링을 향상시키고, TEA는 전반적인 특징 표현을 개선함을 입증하였다.
• 모델은 데이터셋에 포함된 6개 모든 계절에서 뛰어난 성능을 유지하여 기후 및 바람 조건의 변화에 대한 강력한 일반화 능력을 보였다.
• 전통적인 RNN과 일반 트랜스포머 대비 뛰어난 계산 효율성을 확보하여 실시간 풍력 응용에 적합함을 입증하였다.

Figure 2: Model Overview: TCNFormer.