[논문 리뷰] Application of BERT in Wind Power Forecasting-Teletraan's Solution in Baidu KDD Cup 2022

Longxing Tan, Hongying Yue|arXiv (Cornell University)|2023. 07. 18.

Energy Load and Power ForecastingEngineering인용 수 3

한 줄 요약

이 논문은 Baidu KDD Cup 2022에서 장기 풍력 발전 예측을 위한 BERT 기반 모델을 제시하며, 단일 BERT 블록을 통해 시간적 종속성을 활용하고, 예측에 후처리를 통해 일일 주기성을 강제화함으로써 성능을 향상시켰다. 시퀀스 모델링과 단순하지만 효과적인 일일 변동 조정을 조합하여 총 2,490개 팀 중 3위를 기록하였다.

ABSTRACT

Nowadays, wind energy has drawn increasing attention as its important role in carbon neutrality and sustainable development. When wind power is integrated into the power grid, precise forecasting is necessary for the sustainability and security of the system. However, the unpredictable nature and long sequence prediction make it especially challenging. In this technical report, we introduce the BERT model applied for Baidu KDD Cup 2022, and the daily fluctuation is added by post-processing to make the predicted results in line with daily periodicity. Our solution achieves 3rd place of 2490 teams. The code is released athttps://github.com/LongxingTan/KDD2022-Baidu

연구 동기 및 목표

• 높은 시간적 변동성과 예측 불가능성을 가지는 장기 시퀀스 풍력 발전 예측 문제를 해결하기 위해.
• BERT 모델이 풍력 발전 시계열에서 장거리 시간적 종속성을 효과적으로 포착할 수 있는 능력을 활용하기 위해.
• 모델이 이 패턴을 학습하지 못함에 따라, 후처리를 통해 일일 주기성을 통합함으로써 예측 정확도를 향상시키기 위해.
• 엄격한 추론 시간 제약 조건(테스트 추론에 10시간) 내에서 높은 성능을 달성하기 위해.
• 실제 풍력 발전 예측 환경에서 BERT 모델이 다른 딥러닝 및 전통적 모델과 비교해 어떻게 성능을 내는지 평가하기 위해.

제안 방법

• 각 풍력 터빈의 10분 간격으로 14일 간의 이전 풍력 발전 시계열을 모델링하기 위해 단일 BERT 블록을 적용하였다.
• 바람 속도와 바람 방향을 입력 특징으로 사용하였으며, 타겟을 제외한 모든 특징에 대해 정규화를 적용하였다.
• 풍력 발전 시계열에 대해 마스킹된 오토인코더 사전학습 전략을 적용하여 시간 패턴을 학습하였다.
• 예측에 대해 시간에 맞춰 정규화된, 스케일링된 일일 변동 패턴을 추가하는 방식으로 후처리를 구현하였다. 이는 각 예측의 시작 시간과 정렬되어 있었다.
• 일일 변동 효과를 강화하기 위해 배수를 36(크기가 큰 값에는 1.1)로 설정하였으며, 이는 로컬 검증을 통해 校정되었다.
• 배치 크기가 1024이고 학습 에포크 수가 3인 조건에서 RMSE 손실과 Adam 옵timizer를 사용하여 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 단일 BERT 모델이 48시간 예측을 위한 풍력 발전 시계열에서 장거리 시간적 종속성을 효과적으로 포착할 수 있는가?
• RQ2 모델이 주기성을 학습하지 못할 경우, 학습된 일일 변동 패턴을 활용한 후처리가 예측 정확도를 향상시키는가?
• RQ3 BERT 기반 모델링이 다른 딥러닝 모델들(예: LSTM, TCN, Transformer)과 비교해 정확도 및 추론 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 동질적인 터빈 데이터를 가진 풍력 발전 예측에서 공간적 특징 또는 공간-시간 모델이 성능 향상에 얼마나 기여하는가?
• RQ5 온도 또는 지연/이동 평균 특징을 포함하지 않고도, 최소한의 특징 세트(바람 속도 및 방향)로 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• BERT 모델은 2차 시험에서 로컬 검증 점수 58.1과 랜딩보드 점수 44.6을 기록하여 총 2,490개 팀 중 3위를 차지하였다.
• 스케일링된, 시간에 맞춰 정렬된 일일 변동 패턴을 활용한 후처리가 예측의 주기성 향상에 크게 기여하였으며, 이는 모델이 직접 주기성을 학습하는 것보다 우수한 성능을 보였다.
• 딥러닝 모델들 중에서 BERT는 로컬 점수와 랜딩보드 점수 모두에서 LSTM, TCN, Transformer를 앞서며, RMSE(365)와 MAE(299) 모두에서 낮은 수치를 기록하였다.
• 공간-시간 모델인 GCN-LSTM은 로컬 점수는 54.5로 낮게 기록되었지만 랜딩보드에서 성능이 떨어져, 이 동질적인 데이터셋에서는 공간 모델링의 이점이 제한적임을 시사하였다.
• 통계적 모델인 KNN과 LightGBM는 딥러닝 모델보다 성능이 열 劣하였으며, 이는 복잡한 시간 패턴을 다루기 위해 깊은 아키텍처가 필요함을 시사하였다.
• 최종 솔루션은 개념 드리프트에 강건하였으며, 최종 단계 동안 2차 시험에서 가장 우수한 모델을 기반으로 재학습을 통해 성능을 유지하였다.