[논문 리뷰] Conditional Local Convolution for Spatio-temporal Meteorological Forecasting

Haitao Lin, Zhangyang Gao외 4명|arXiv (Cornell University)|2021. 01. 04.

Meteorological Phenomena and Simulations인용 수 5

한 줄 요약

이 논문은 불규칙한 구형 센서 네트워크에서 시간-공간 기상 예측을 위해 지역적 공간 패턴을 학습 가능한 위치 인식 컨볼루션 커널을 사용하여 모델링하는 조건부 국소 컨볼루션을 제안한다. 이 방법은 원추형-접선 공간에 지역 기하 구조를 통합하기 위해 화이트맵을 사용하며, 거리 및 방향 스케일링 항목을 통해 불규칙한 센서 분포의 영향을 완화한다. 순환 신경망 아키텍처를 통해 실제 기상 벤치마크에서 최신 기술 수준의 성능을 달성한다 (CLCRN).

ABSTRACT

Spatio-temporal forecasting is challenging attributing to the high nonlinearity in temporal dynamics as well as complex location-characterized patterns in spatial domains, especially in fields like weather forecasting. Graph convolutions are usually used for modeling the spatial dependency in meteorology to handle the irregular distribution of sensors' spatial location. In this work, a novel graph-based convolution for imitating the meteorological flows is proposed to capture the local spatial patterns. Based on the assumption of smoothness of location-characterized patterns, we propose conditional local convolution whose shared kernel on nodes' local space is approximated by feedforward networks, with local representations of coordinate obtained by horizon maps into cylindrical-tangent space as its input. The established united standard of local coordinate system preserves the orientation on geography. We further propose the distance and orientation scaling terms to reduce the impacts of irregular spatial distribution. The convolution is embedded in a Recurrent Neural Network architecture to model the temporal dynamics, leading to the Conditional Local Convolution Recurrent Network (CLCRN). Our model is evaluated on real-world weather benchmark datasets, achieving state-of-the-art performance with obvious improvements. We conduct further analysis on local pattern visualization, model's framework choice, advantages of horizon maps and etc.

연구 동기 및 목표

• 불규칙하게 분포한 센서와 복잡한 비정상적 동역학을 가진 기상 예측의 과제를 해결하기 위해.
• 바람 흐름과 온도 이동과 같이 지리적 지역 간에 크게 달라지는 지역 기상 패턴을 모델링하기 위해.
• 지역 공간 기하 구조에 적응하면서 방향성을 유지하고 불규칙한 센서 배치를 처리할 수 있는 그래프 기반 컨볼루션을 개발하기 위해.
• 컨볼루션 커널 설계에 위치 특성 패턴의 스무스함 가정을 통합하여 예측 정확도를 향상시키기 위해.
• 실제 기상 데이터셋에서 모델을 평가하고 커널 설계 및 특징 맵의 핵심 구성 요소를 분석하기 위해.

제안 방법

• 지역 공간 기하 구조에 따라 각 노드별로 다르게 변하는 학습 가능한 위치 적응형 컨볼루션 커널을 제안하며, 지역 노드 표현에서 커널을 매개변수화하기 위해 피드포워드 네트워크를 사용한다.
• 지역 센서 좌표를 원추형-접선 공간으로 투영하기 위해 화이트맵을 사용하여 지리적 방향성을 유지하고 일관된 지역 패턴 모델링을 가능하게 한다.
• 불규칙한 센서 분포가 컨볼루션 메시지 전달에 미치는 영향을 완화하기 위해 거리 및 방향 스케일링 항목을 도입한다.
• 시간적 동역학을 모델링하기 위해 순환 신경망(RNN) 아키텍처에 조건부 국소 컨볼루션을 통합하여 CLCRN 프레임워크를 구성한다.
• 노드 표현을 이웃집합 집합을 통해 업데이트하는 그래프 기반 메시지 전달 메커니즘을 사용하며, 위치 적응형 커널을 적용한다.
• 위치 특성 패턴의 스무스함 가정을 활용하여 유사한 지리적 지역 간에 국소 커널이 일반화되도록 보장한다.

실험 결과

연구 질문

• RQ1 학습 가능한 위치 적응형 컨볼루션 커널이 불규칙하게 분포한 기상 센서에서 시간-공간 예측 성능을 향상시킬 수 있는가?
• RQ2 화이트맵을 사용해 지역 공간 기하 구조를 모델링할 경우 기상 예측 모델의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 컨볼루션 커널에서 거리, 방향, 학습된 표현의 상대 기여도는 지역 패턴 캡처에 어떻게 작용하는가?
• RQ4 제안된 CLCRN 모델은 다양한 기상 변수에 대해 기존 최신 기술 수준의 모델과 비교해 예측 정확도에서 어떤가?
• RQ5 이웃 크기 및 네트워크 깊이와 같은 핵심 하이퍼파라미터의 모델 성능에 대한 영향은 어떠한가?

주요 결과

• CLCRN 모델은 실제 기상 예측 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 12시간 예측에서 온도에 대해 1.1688 MAE, 강우량에 대해 1.4906 MAE를 기록하였다.
• 화이트맵 사용이 성능 향상에 크게 기여하였으며, 로그 맵 대비 온도에 대해 0.095 MAE 감소, 강우량에 대해 0.069 MAE 감소를 기록하였다.
• 아블레이션 연구 결과에 따르면, 각도 스케일링 항목이 가장 큰 기여를 하였으며, MLP + 각도 조합이 가장 우수한 성능을 보였다.
• 거리 스케일링 항목이 기여도가 가장 낮았으며, 거리만을 사용하는 모델가 성능이 열악하여 이 맥락에서 기하 구조적 방향성이 거리 스케일링보다 더 효과적임을 시사한다.
• 기준 모델 대비 안정성과 정확도가 향상되었으며, 특히 습도와 바람과 같은 변동성이 큰 조건에서 RMSE와 MAE가 모두 낮아졌다.
• 모델의 지역 패턴 시각화 결과에서 학습된 커널이 해안 front나 jet stream과 같은 지역 기상 특징에 적응하는 것으로 나타나, 지역 패턴 모델링 접근 방식의 효과성을 확인하였다.