[논문 리뷰] Simple Baseline for Weather Forecasting Using Spatiotemporal Context Aggregation Network

Minseok Seo, Doyi Kim외 4명|arXiv (Cornell University)|2022. 12. 06.

Flood Risk Assessment and Management인용 수 4

한 줄 요약

이 논문은 단지 위성 영상과 3D-CNN만을 사용하여 단기 기상 예측을 위한 단순하면서도 효과적인 시공간적 맥락 집약 네트워크인 SIANet을 제안한다. 다중 모델 앙상블이나 미세조정 없이도, 커널 분해와 새로운 시공간 정련 모듈을 활용하여 W4C'22 벤치마크의 5개 중 4개에서 최고 성능을 기록하며, 딥러닝 기반 기상 예측에서 단순함이 복잡함을 능가할 수 있음을 보여준다.

ABSTRACT

Traditional weather forecasting relies on domain expertise and computationally intensive numerical simulation systems. Recently, with the development of a data-driven approach, weather forecasting based on deep learning has been receiving attention. Deep learning-based weather forecasting has made stunning progress, from various backbone studies using CNN, RNN, and Transformer to training strategies using weather observations datasets with auxiliary inputs. All of this progress has contributed to the field of weather forecasting; however, many elements and complex structures of deep learning models prevent us from reaching physical interpretations. This paper proposes a SImple baseline with a spatiotemporal context Aggregation Network (SIANet) that achieved state-of-the-art in 4 parts of 5 benchmarks of W4C22. This simple but efficient structure uses only satellite images and CNNs in an end-to-end fashion without using a multi-model ensemble or fine-tuning. This simplicity of SIANet can be used as a solid baseline that can be easily applied in weather forecasting using deep learning.

연구 동기 및 목표

• 다중 모델 앙상블, 미세조정, 보조 데이터(예: NWP 또는 지리적 좌표)에 의존하지 않는 단순하고 효율적인 단기 기상 예측을 위한 딥러닝 기반 기준선을 개발하는 것.
• 다중 모델 앙상블, 미세조정, 보조 데이터에 대한 의존도를 줄이는 것.
• 단지 3D-CNN과 엔드 투 엔드 훈련을 사용하여 기상 예측의 시공간 모델링을 향상시키는 것.
• 최소한의 아키텍처에 커널 분해와 맥락 집약을 결합하여 최고 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• SIANet는 위성 영상(11개 스펙트럼 밴드)만을 입력으로 사용하며, 위도, 경도, 지형도 포함된 정적 데이터는 사용하지 않는다.
• 모델은 전적으로 3D 합성곱 레이어로 구성되며, 3D 커널을 2D 공간적 요소와 1D 시간적 요소로 분리하여 FLOPs를 감소시키는 커널 분해를 적용한다.
• 장거리 시공간적 종속성 학습을 향상시키기 위해 기본 블록으로 큰 공간적 맥락 집약 모듈을 도입한다.
• 마르코프 체인에 영향을 받은 시공간 정련 모듈을 사용하여 시간 단계 간에 예측을 엔드 투 엔드 방식으로 정련한다.
• 레이다 반사도에서 유도된 rainfall rate 지ap을 기반으로 이진 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련한다.
• 제거 실험을 통해 각 구성 요소의 기여도를 검증: 임계값 설정, 중심 자르기, 시공간 모듈, 큰 맥락 집약 모듈.

실험 결과

연구 질문

• RQ1 다중 모델 앙상블이나 미세조정 없이도 단순한 3D-CNN 기반 모델이 기상 예측에서 최고 성능을 낼 수 있는가?
• RQ2 3D-CNN 기반 기상 예측에서 커널 분해가 FLOPs를 줄이면서도 성능을 유지하는 데 얼마나 효과적인가?
• RQ3 큰 공간적 맥락 집약 모듈이 단기 강수 예측의 시공간 모델링을 얼마나 향상시킬 수 있는가?
• RQ4 표준 회귀 헤드에 비해 엔드 투 엔드 시공간 정련 모듈이 예측 정확도를 향상시키는가?
• RQ5 NWP 출력과 같은 보조 데이터에 의존하는 더 복잡한 모델에 비해 단지 위성 데이터로 훈련된 모델이 성능 면에서 뒤지지 않는가?

주요 결과

• SIANet는 W4C'22 챌린지의 5개 벤치마크 중 4개에서 최고 성능을 기록했으며, 최고 설정에서 mIoU가 0.465를 기록했다.
• 제거 실험 결과, CenterCrop, STM, LCAM과 같은 구성 요소를 추가할수록 기준선 대비 mIoU가 최대 12.7%p까지 향상되었다.
• 모델는 시간 단계에 따라 동적인 예측 행동을 보였으며, 8시간 예측 범위 동안 각 시간 단계에 대해 동일한 평균 예측이 아닌 서로 다른 출력을 생성했다.
• 정성적 결과를 통해 모델가 폭풍 시스템의 이동 방향에 따라 예측이 변화하는 패턴을 성공적으로 포착했다.
• 강력한 성능에도 불구하고, 모델는 강수 강도 분류에 어려움을 겪었으며, 경미한~중간 강수(임계값 0.2 mm/h)를 과도하게 예측하는 경향을 보여, 향후 작업에서 다중 클래스 또는 회귀 손실이 필요할 것으로 나타났다.
• 커널 분해를 사용함으로써 FLOPs를 크게 감소시키면서도 높은 성능를 유지함으로써, 대규모 기상 데이터 훈련에 효과적임을 입증했다.