[논문 리뷰] Sky-image-based solar forecasting using deep learning with multi-location data: training models locally, globally or via transfer learning?

Yuhao Nie, Quentin Paletta외 6명|arXiv (Cornell University)|2022. 11. 03.

Solar Radiation and Photovoltaics인용 수 9

한 줄 요약

이 연구는 세 개의 지리적으로 다양하게 분포된 데이터셋에서의 천체 이미지를 이용한 딥러닝 기반 태양광 예측을 위한 局소, 전역, 전이 학습 접근법을 비교한다. 대규모 이질적인 전 세계 데이터셋에서 사전 학습하고, 목표 지역에서 미세 조정하는 방식은, 처음부터 국소적으로 학습하는 것에 비해 훈련 노력의 80%를 절감하면서도 정확도를 1% 향상시키며, 다중 위치 태양광 예측에 있어 전이 학습이 가장 효율적이고 효과적인 전략임을 입증한다.

ABSTRACT

Solar forecasting from ground-based sky images has shown great promise in reducing the uncertainty in solar power generation. With more and more sky image datasets open sourced in recent years, the development of accurate and reliable deep learning-based solar forecasting methods has seen a huge growth in potential. In this study, we explore three different training strategies for solar forecasting models by leveraging three heterogeneous datasets collected globally with different climate patterns. Specifically, we compare the performance of local models trained individually based on single datasets and global models trained jointly based on the fusion of multiple datasets, and further examine the knowledge transfer from pre-trained solar forecasting models to a new dataset of interest. The results suggest that the local models work well when deployed locally, but significant errors are observed when applied offsite. The global model can adapt well to individual locations at the cost of a potential increase in training efforts. Pre-training models on a large and diversified source dataset and transferring to a target dataset generally achieves superior performance over the other two strategies. With 80% less training data, it can achieve comparable performance as the local baseline trained using the entire dataset.

연구 동기 및 목표

• 다양한 글로벌 위치에서의 데이터를 활용하여 딥러닝 모델을 태양광 예측에 대해 학습시키는 데서의 효과성을 평가하는 것.
• 국소적 학습(각 사이트별로), 전역 공동 학습(모든 사이트 간), 그리고 사전 학습된 전역 모델에서의 전이 학습이라는 세 가지 학습 전략을 비교하는 것.
• 특히 일조량 목표치의 척도와 분포의 이질성 등 데이터셋의 이질성 영향이 모델 일반화 능력에 미치는 영향을 평가하는 것.
• 다양한 소스 데이터셋에서 사전 학습된 모델의 지식이 낮은 데이터를 가진 목표 사이트에서 성능 향상에 기여할 수 있는지 여부를 확인하는 것.
• 오픈소스 천체 이미지 데이터셋을 활용하여 훈련 비용을 절감하고 다양한 위치에서의 예측 정확도를 향상시키기 위한 근거 기반 지침을 제공하는 것.

제안 방법

• 세 가지 딥러닝 모델을 학습한다: 각 데이터셋 별로 국소 모델, 세 데이터셋을 함께 사용해 공동으로 학습한 전역 모델, 병합된 전역 데이터셋에서 사전 학습한 후 목표 데이터셋에서 미세 조정한 전이 학습 모델.
• 모델는 시간 모델링을 위해 ConvLSTM 레이어를 포함한 U-Net 기반 인코더-디코더 아키텍처를 사용하며, 천체 이미지에서 15분 단위 태양 일조량을 엔드 투 엔드로 예측할 수 있도록 설계된다.
• 전이 학습의 경우 두 가지 전략을 평가한다: 초기 합성곱 블록을 고정시키는 것과 모든 레이어를 미세 조정하는 것인데, 후자가 더 우수한 성능을 보였다.
• 모델 훈련은 강건성을 확보하기 위해 10겹 교차 검증을 활용하며, 성능 평가에는 테스트 세트의 평균 제곱근 오차(RMSE)를 사용한다.
• 전역 모델은 소스 데이터셋 전용으로 학습되며, 목표 테스트 세트에 직접 적용되며 추가 적응 없이 일반화 능력을 비교할 수 있도록 한다.
• 훈련 노력은 훈련 샘플 수와 훈련 에포크 수의 곱으로 정량화되며, 결과는 백만(M) 단위의 파rameter-에포크 연산으로 기록된다.

실험 결과

연구 질문

• RQ1 다양한 위치의 데이터를 하나의 전역 모델로 학습시키는 것이 각 사이트별 국소 모델 학습보다 일반화 능력을 향상시키는가?
• RQ2 특히 일조량 척도와 분포의 이질성 등 데이터셋 이질성이 전역 모델 성능에 미치는 영향은 어떠한가?
• RQ3 대규모로 다양하게 구성된 전역 데이터셋에서 사전 학습한 모델을 새로운 위치에 전이시키면 훈련 노력은 크게 줄일 수 있고 정확도는 유지 또는 향상시킬 수 있는가?
• RQ4 저데이터 환경에서 태양광 예측에 최적의 전이 학습 전략(예: 초기 레이어 고정 vs. 모든 레이어 미세 조정)은 무엇인가?
• RQ5 전이 학습이 국소 학습보다 훈련 데이터를 80% 줄여도 동일하거나 더 우수한 성능을 달성할 수 있는가?

주요 결과

• 통합 전역 데이터셋에서 사전 학습하고 DEWA 데이터셋에서 미세 조정한 전이 학습 모델은, 처음부터 훈련한 국소 기준 모델 대비 1% 높은 예측 정확도를 기록했다.
• 전체 데이터셋으로 훈련한 국소 모델 대비 훈련 데이터의 20%만 사용했음에도 불구하고, 전이 학습 모델은 파rameter-에포크 연산 수에서 80% 적은 훈련 노력이 소요되었다.
• 국소 모델는 훈련한 사이트에 배포했을 땐 가장 우수한 성능를 보였지만, 이외의 사이트에 적용했을 땐 심각한 오차를 보였으며, 이는 위치별로 특화된 회귀 함수로 인한 일반화 부족을 시사한다.
• 전역 모델는 강력한 일반화 능력을 보였으며, 각 개별 사이트에서 국소 모델보다 더 높은 성능를 달성했지만, 이는 훈련 노력 증가를 수반했다.
• 최고의 전이 학습 전략은 모든 레이어를 미세 조정하는 것이었으며, 초기 합성곱 블록을 고정시키는 전략보다 성능이 뛰어났다.
• 결과적으로, 대규모 이질적인 전역 데이터셋에서의 사전 학습은, 특히 데이터가 제한된 곳에서 효율적이고 정확한 태양광 예측을 가능하게 한다.