[논문 리뷰] Model Selection, Adaptation, and Combination for Transfer Learning in Wind and Photovoltaic Power Forecasts

Jens Schreiber, Bernhard Sick|arXiv (Cornell University)|2022. 04. 28.

Solar Radiation and Photovoltaics인용 수 3

한 줄 요약

이 논문은 모델 선택, 베이지안 적응, 앙상블 조합을 활용한 전이 학습 프레임워크를 제안한다. 사전 훈련된 모델의 최종 레이어를 베이지안 선형 회귀로 대체하고, 소프트 게이팅 또는 베이지안 모델 평균화를 통해 모델을 조합함으로써, 최소 7일 간의 타겟 데이터만으로도 최신 기술 수준의 성능을 달성한다. 이는 667개의 실제 풍력 및 태양광 발전소에서 예측 오차와 계산 비용을 크게 감소시킨다.

ABSTRACT

There is recent interest in using model hubs, a collection of pre-trained models, in computer vision tasks. To utilize the model hub, we first select a source model and then adapt the model for the target to compensate for differences. While there is yet limited research on model selection and adaption for computer vision tasks, this holds even more for the field of renewable power. At the same time, it is a crucial challenge to provide forecasts for the increasing demand for power forecasts based on weather features from a numerical weather prediction. We close these gaps by conducting the first thorough experiment for model selection and adaptation for transfer learning in renewable power forecast, adopting recent results from the field of computer vision on 667 wind and photovoltaic parks. To the best of our knowledge, this makes it the most extensive study for transfer learning in renewable power forecasts reducing the computational effort and improving the forecast error. Therefore, we adopt source models based on target data from different seasons and limit the amount of training data. As an extension of the current state of the art, we utilize a Bayesian linear regression for forecasting the response based on features extracted from a neural network. This approach outperforms the baseline with only seven days of training data. We further show how combining multiple models through ensembles can significantly improve the model selection and adaptation approach.

연구 동기 및 목표

• 신규 풍력 및 태양광 발전소의 역사적 데이터 부족 문제를 해결하기 위해 모델 허브에서 사전 훈련된 모델을 활용하고자 한다.
• 전이 학습을 활용하여 일일 예측에서 예측 정확도를 향상시키고 계산 비용을 절감하고자 한다.
• 재생 가능 에너지 예측에서 최적의 모델 선택, 적응, 조합 전략을 탐색하고자 한다.

제안 방법

• 유사도 측정으로 정규화된 평균 제곱근 오차(nRMSE)와 우도(증거)를 사용하여 소스 모델을 선별한다.
• 추출된 특징과 제한된 타겟 데이터를 기반으로 훈련된 베이지안 선형 회귀(BLR)로 소스 모델의 최종 레이어를 교체함으로써 소스 모델을 적응시킨다.
• 타겟 데이터에서의 예측 오차를 기반으로 가중치를 부여하는 협동 경쟁적 소프트 게이팅 앙상블(CSGE)을 사용하여 다수의 적응된 모델을 조합한다.
• 베이지안 모델 평균화(BMA)를 앙상블 전략의 대안으로 활용하여 확률적 예측을 제공한다.
• 6개의 실제 데이터셋(667개의 풍력 및 태양광 발전소 포함)에서 소스 모델(BELM, MLP, TCN)을 훈련하고 평가한다.
• 비교를 위해 기준 모델로 기울기 부스팅 회귀 트리(GBRT)를 사용한다.

실험 결과

연구 질문

• RQ1 신규 타겟 발전소에 대해 모델 허브에서 소스 모델를 선택할 적절한 유사도 측정 기준은 무엇인가?
• RQ2 소스 모델가 선택된 후 최적의 적응 전략은 무엇인가?
• RQ3 단일 모델을 선택하고 적응하는 것과 비교해, 지식을 조합하는 데 앙상블 전략이 유익한가?

주요 결과

• 신경망의 최종 레이어를 베이지안 선형 회귀(BLR)로 대체하는 것은 미세조정보다 뚜렷하게 뛰어난 성능을 보이며, 특히 데이터가 제한된 경우에 유의미하게 향상된다. PVREAL 데이터셋에서 단지 7일 간의 훈련 데이터로도 최대 9.8%의 nRMSE를 달성한다.
• 베이지안 모델 평균화(BMA) 앙상블 전략은 최소한의 데이터로도 뛰어난 성능을 내며, PVOPEN 및 PVREAL 데이터셋에서 최대 30일 간의 훈련 데이터로 다른 방법들을 능가한다.
• 협동 경쟁적 소프트 게이팅 앙상블(CSGE)는 모든 데이터셋에서 단일 모델 적응 및 기준 모델보다 끈적임으로써, 다수의 모델을 조합하는 데서 유의미한 이점을 보여준다.
• 바람 데이터셋의 경우, TCN 소스 모델과 BLR 적응을 사용한 CSGE가 30일 이상의 훈련 데이터에서 최고의 성능을 기록한다.
• 30일 미만의 훈련 데이터가 있는 경우에도, 제안된 방법들은 전년도 데이터로 훈련된 모델들과 비교해 예측 오차율이 유사한 성능을 달성한다.
• 앙상블에 GBRT를 소스 모델로 포함시키면 성능이 더욱 향상되며, 이는 조합 접근법의 유연성을 강조한다.