[논문 리뷰] A Variational U-Net for Weather Forecasting

Pak Hay Kwok, Qi Qi|arXiv (Cornell University)|2021. 11. 05.

Meteorological Phenomena and Simulations참고 문헌 9인용 수 6

한 줄 요약

이 논문은 기상 예측의 확률적 특성을 향상시키기 위해 변동형 오토인코더(Variational Autoencoder)의 확률적 잠재 공간과 U-Net의 스킵 연결을 결합한 변동형 U-Net을 제안한다. 이 모델은 모든 지역에 공통으로 사용되는 단일 모델을 활용하고 통합된 데이터로 훈련하여, 지역별로 특화된 모델들을 크게 능가하며 2021년 Weather4cast 경쟁의 코어 및 트랜스퍼 러닝 도전 과제에서 각각 3위를 기록했다.

ABSTRACT

Not only can discovering patterns and insights from atmospheric data enable more accurate weather predictions, but it may also provide valuable information to help tackle climate change. Weather4cast is an open competition that aims to evaluate machine learning algorithms' capability to predict future atmospheric states. Here, we describe our third-place solution to Weather4cast. We present a novel Variational U-Net that combines a Variational Autoencoder's ability to consider the probabilistic nature of data with a U-Net's ability to recover fine-grained details. This solution is an evolution from our fourth-place solution to Traffic4cast 2020 with many commonalities, suggesting its applicability to vastly different domains, such as weather and traffic.

연구 동기 및 목표

• 지정궤도 위성 데이터로부터 다단계 확률적 기상 예측을 수행할 수 있는 딥러닝 모델을 개발하는 것.
• 대기역학의 본질적 불확실성과 확률적 특성을 고려한 확률적 딥러닝 아키텍처를 통해 이를 해결하는 것.
• 모든 지역의 데이터를 통합하여 단일 모델을 훈련시킴으로써 다양한 지리적 지역 간 일반화 능력을 향상시키는 것.
• 교통 예측(Traffic4cast)에서 사용된 U-Net 기반 아키텍처가 기상 예측(Weather4cast)으로 이식 가능한지 평가하는 것.
• 드롭아웃, 최대 풀링, VAE 스타일의 브릿지 레이어와 같은 아키텍처 구성 요소가 모델 성능에 미치는 영향을 조사하는 것.

제안 방법

• 모델은 밀도 블록(Dense Blocks), 2D 컨볼루션, ELU 활성화 함수, 그룹 정규화, 그리고 인코더와 디코더 양쪽에 2D 드롭아웃을 사용하는 U-넷 인코더-디코더 아키텍처를 사용한다.
• 표준 U-넷 브릿지 레이어 대신 변동형 오토인코더(Variational Autoencoder, VAE) 구성 요소를 사용하여 평균과 로그 분산을 나타내는 잠재 벡터를 학습한다.
• 재표본화 기법(Reparameterization trick)을 적용하여 학습된 잠재 분포에서 샘플링함으로써 확률적 순방향 전파와 불확실성 모델링이 가능해진다.
• 인코더와 디코더 레이어 간의 스킵 연결을 통해 공간적 세부 정보를 유지하고 특징 복원 성능을 향상시킨다.
• 재구성 손실과 KL 발산을 조합하여 VAE 목표를 최적화하는 방식으로 엔드 투 엔드로 모델을 훈련시킨다.
• 최종 랜드마크 게시판 제출을 위해 모든 6개의 Weather4cast 지역 데이터를 통합하여 훈련한 단일 모델을 사용하며, 검증 데이터로 추가 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 변동형 U-넷 아키텍처는 기상 예측에서 대기 상태 전이의 확률적 특성을 효과적으로 모델링할 수 있는가?
• RQ2 VAE 스타일의 브릿지 레이어 통합이 결정론적 U-넷에 비해 불확실성 추정 및 일반화 능력을 얼마나 향상시키는가?
• RQ3 여러 지리적 다양성을 가진 지역의 데이터를 통합하여 단일 통합 모델을 훈련시키는 것이 지역별 특화 모델보다 기상 예측에서 성능을 높이는가?
• RQ4 교통 예측에서 유래한 아키텍처 구성 요소(예: 드롭아웃 및 정규화를 갖춘 U-넷)가 기상 예측으로 성공적으로 이식 가능한가?
• RQ5 검증 데이터로의 미세조정이 확률적 기상 예측에서 미리 보지 못한 테스트 데이터에 대한 성능을 추가로 향상시키는가?

주요 결과

• 변동형 U-넷은 2021년 Weather4cast 경쟁의 코어 및 트랜스퍼 러닝 도전 과제에서 모두 3위를 기록하였으며, 트랜스퍼 러닝 과제에서 최종 랜드마크 게시판 점수는 0.4670을 기록했다.
• 모든 6개 지역의 데이터를 통합하여 단일 모델을 훈련시킴으로써 테스트 랜드마크 게시판에서 지역별 특화 모델 대비 약 2.3% 향상된 성능을 기록했다.
• 검증 데이터로 최종 모델을 미세조정함으로써 트랜스퍼 러닝 과제에서 최종 랜드마크 게시판 점수를 0.5102에서 0.4670으로 향상시켰다.
• 드롭아웃 레이어의 포함과 평균 풀링에서 최대 풀링으로의 전환은 일반화 능력을 향상시키고 과적합을 감소시켰다.
• 온도의 선형 보간이 검증 점수를 향상시켰지만, 최종 랜드마크 게시판 성능에는 영향을 주지 못했다.
• Traffic4cast 솔루션에서 유도된 모델 아키텍처는 데이터 역학의 차이에도 불구하고 다양한 도메인 간 강력한 이식 가능성(transferability)을 보였다.