[논문 리뷰] Improving day-ahead Solar Irradiance Time Series Forecasting by Leveraging Spatio-Temporal Context

Oussama Boussif, Ghait Boukachab외 5명|arXiv (Cornell University)|2023. 06. 01.

Solar Radiation and Photovoltaics인용 수 9

한 줄 요약

CrossViViT를 소개하며 다중 모달 트랜스포머 아키텍처로 위성의 시공 간 맥락을 과거 시계열과 융합해 일(d-일간) GHI를 예측하고, 다중 분위(quantile) 헤드를 통해 예측 불확실성도 추정합니다. 이는 여러 관측소와 분포 외(out-of-distribution) 시나리오에서 평가됩니다.

ABSTRACT

Solar power harbors immense potential in mitigating climate change by substantially reducing CO$_{2}$ emissions. Nonetheless, the inherent variability of solar irradiance poses a significant challenge for seamlessly integrating solar power into the electrical grid. While the majority of prior research has centered on employing purely time series-based methodologies for solar forecasting, only a limited number of studies have taken into account factors such as cloud cover or the surrounding physical context. In this paper, we put forth a deep learning architecture designed to harness spatio-temporal context using satellite data, to attain highly accurate extit{day-ahead} time-series forecasting for any given station, with a particular emphasis on forecasting Global Horizontal Irradiance (GHI). We also suggest a methodology to extract a distribution for each time step prediction, which can serve as a very valuable measure of uncertainty attached to the forecast. When evaluating models, we propose a testing scheme in which we separate particularly difficult examples from easy ones, in order to capture the model performances in crucial situations, which in the case of this study are the days suffering from varying cloudy conditions. Furthermore, we present a new multi-modal dataset gathering satellite imagery over a large zone and time series for solar irradiance and other related physical variables from multiple geographically diverse solar stations. Our approach exhibits robust performance in solar irradiance forecasting, including zero-shot generalization tests at unobserved solar stations, and holds great promise in promoting the effective integration of solar power into the grid.

연구 동기 및 목표

• 로컬 시계열을 넘어 구름에 의해 좌우되는 시공 간 맥_context를 반영하여 정확한 일간 GHI 예측을 목표로 한다.
• 위성 이미지와 과거 태양 데이터를 융합하는 다중 모달 딥 러닝 아키텍처를 개발한다.
• 각 시간 단계마다 예측 분포(불확실성)를 추출하는 메커니즘을 제공한다.
• 다양한 관측소에 걸친 위성 이미지와 태양 변수의 다중 모달, 장기 데이터셋을 만든다.
• 쉽고 어려운 구름 영향 케이스를 구분하는 테스트 스킴을 제안하여 도전 조건에서의 성능을 평가한다.]
• method: [
• CrossViViT를 제안하며, 과거 시계열과 위성 맥-context를 별도 트랜스포머 및 교차 어텐션으로 공동 인코딩하여 미래 예측을 위한 통합 잠재 표현을 구축하는 Cross Video Vision Transformer입니다.
• ROtary Positional Encoding(ROPE)을 사용해 시공 간 좌표와 컨텍스트 패치 및 시계열 토큰의 상대 위치를 인코딩합니다.
• 학습 중 일부 과거 맥_context를 마스킹하여 규제화로 맥Context 의존성을 강화합니다.
• Transformer 기반 디코더를 통해 미래 시계열 예측을 디코드합니다.
• 다중 분위 헤드를 추가하여 여러 분위를 예측하고 각 시간 단계에 대한 예측 구간(예: 0.02–0.98)을 가능하게 합니다.
• 위성 이미지 15년分 RSS와 여섯 개의 태양 관측소 및 24시간의 과거 데이터를 결합한 다중 모달 데이터셋을 구성해 24시간 ahead의 GHI 예측을 위한 24시간 전망을 수행하며 DHI, DNI, 구름 맑은 날 구성요소와 같은 파생 지표를 포함합니다.]
• research_questions: [
• 위성 기반의 시공 간 맥_context가 개별 관측소에서의 일간 GHI 예측을 시계열 기반 기준선 대비 개선할 수 있는가?
• CrossViViT가 보지 않은 관측소와 연도에서 제로샷 예측에서 어떤 성능을 보이는가?
• 다중 분위 확장이 구름 주도 변동성에 대한 신뢰할 수 있는 예측 구간을 제공하는가?
• 로우(roRo) RoPE(회전 위치 인코딩)와 학습된 임베딩 중 어떤 것이 분포 외(out-of-distribution) 성능에 더 큰 영향을 주는가?
• 쉽고 어려운 구름 시나리오를 구분하는 테스트 스킷이 구름 이동이 복사에 크게 영향을 주는 어려운 날들에서 모델의 강점과 약점을 어떻게 드러내는가?

제안 방법

• CrossViViT를 제안하며, 과거 시계열과 위성 맥_context를 별도 트랜스포머와 교차 어텐션을 사용해 함께 인코딩하고 미래 예측을 위한 단일 잠재 표현을 구축합니다.
• ROPE를 사용해 시공 간 좌표 및 컨텍스트 패치와 시계열 토큰의 상대 위치를 인코딩합니다.
• 훈련 중 과거 맥_context의 일부를 마스크하여 규제화로 맥_context 의존성을 키웁니다.
• Transformer 기반 디코더로 미래 시계열 예측을 디코드합니다.
• 다중 구간 헤드를 확장해 여러 분위를 예측하고 시간 단계별 예측 구간(예: 0.02–0.98)을 가능하게 합니다.
• 위성 이미지 RSS 15년 분량과 6개 관측소의 24시간 과거 데이터를 결합한 다중 모달 데이터셋을 구성해 24시간 ahead GHI 예측 및 구름 영향 하의 다양한 조건을 평가합니다.]
• research_questions: [
• 위성 기반의 시공 간 맥_context가 개별 관측소에서의 일간 GHI 예측을 시계열 기반 기준선 대비 개선할 수 있는가?
• CrossViViT가 보지 않은 관측소와 연도에서 제로샷 예측에서 어떤 성능을 보이는가?
• 다중 분위 확장이 구름 주도 변동성에 대한 신뢰할 수 있는 예측 구간을 제공하는가?
• 로터리 위치 인코딩(RoPE)와 학습된 임베딩 중 어떤 것이 out-of-distribution 성능에 더 큰 영향을 주는가?
• 쉽고 어려운 구름 시나리오를 구분하는 테스트 스킴이 구름 이동이 irradiance에 크게 영향을 주는 어려운 날들에서 모델의 강점과 약점을 어떻게 드러내는가?

실험 결과

연구 질문

• RQ1 Can satellite-based spatio-temporal context improve day-ahead GHI forecasting at individual stations compared to time-series baselines?
• RQ2 How does CrossViViT perform in zero-shot forecasting at unseen stations and years?
• RQ3 Does the multi-quantile extension provide reliable prediction intervals for cloud-driven variability?
• RQ4 What is the impact of using rotary positional encoding versus learned embeddings on out-of-distribution performance?
• RQ5 How does a dedicated testing scheme that splits easy vs hard cloud scenarios reveal model strengths and weaknesses?

주요 결과

• CrossViViT는 일일 GHI 예측에서 견고한 성능을 달성하고 보지 않은 관측소에 대한 제로샷 일반화도 보여준다.
• 다중 구간 확장으로 합리적으로 높은 구간 커버리지를 가진 불확실성 추정치를 제공한다.
• RoPE가 out-of-distribution 관측소 및 도전적인(구름 많은) 날에 더 나은 성능에 기여한다는 분석이 있다.
• Easy와 Hard 구름 시나리오를 구분하는 테스트 스킷이 구름 이동이 irradiance에 강하게 작용하는 어려운 날에서 모델의 이점을 드러낸다.
• 새로운 다중 모달 데이터셋이 위성 이미지와 태양 복사 측정치를 14년간 6개 관측소에 걸쳐 결합해 시공-시간 예측 모델을 다양한 조건에서 평가할 수 있게 한다.