[논문 리뷰] Physics-inspired adaptions to low-parameter neural network weather forecasts systems

Sebastian Scher, Gabriele Messori|arXiv (Cornell University)|2020. 08. 31.

Meteorological Phenomena and Simulations인용 수 6

한 줄 요약

이 논문은 지구의 구형 기하학과 기상 역학의 반구 대칭성을 반영하여 저파rameter 컨볼루션 신경망에 물리적 제약을 통합함으로써 weahter 예측 성능을 향상시키는 물리 기반 적응 기법을 제안한다. Spherenet 컨벌루션을 통해 구형 기하학을 통합하고, 역학적 대칭성을 반영한 반구 병합 기반 구조를 도입함으로써, 1.4° 해상도에서 WeatherBench 데이터셋에서 예측 성능이 향상되며, 두 기법을 병행 적용할 경우 최고의 성능을 기록한다. 이는 제한된 파라미터로도 물리적 사전 지식이 데이터 기반 모델의 성능을 향상시킬 수 있음을 보여준다.

ABSTRACT

Recently, there has been a surge of research on data-driven weather forecasting systems, especially applications based on convolutional neural networks (CNNs). These are usually trained on atmospheric data represented on regular latitude-longitude grids, neglecting the curvature of the Earth. We assess the benefit of replacing the standard convolution operations with an adapted convolution operation which takes into account the geometry of the underlying data (Spherenet convolution), specifically near the poles. Additionally, we assess the effect of including the information that the two hemispheres of the Earth have "flipped" properties - for example cyclones circulating in opposite directions - into the structure of the network. Both approaches are examples of physics-informed machine learning. The methods are tested on the WeatherBench dataset, at a resolution of $\sim1.4^{\circ}$ which is higher than many previous studies on CNNs for weather forecasting. For most lead times up to day +10 for 500 hPa geopotential and 850 hPa temperature, we find that using Spherenet convolution or including hemisphere-specific information individually lead to improvement in forecast skill. Combining the two methods typically gives the highest forecast skill. Our version of Spherenet is implemented flexibly and scales well to high resolution datasets, but is still significantly more expensive than a standard convolution operation. Finally, we analyze cases with high forecast error. These occur mainly in winter, and are relatively consistent across different training realizations of the networks, pointing to flow-dependent atmospheric predictability.

연구 동기 및 목표

• 지구의 구형 기하학과 반구 기상 역학의 물리적 제약을 통합함으로써 저파라미터 신경망 기반 기상 예측의 정확도를 향상시키는 것.
• 물리적 영감을 받은 아키텍처 수정이 모델 복잡도를 증가시키지 않고도 예측 정확도를 향상시킬 수 있는지 테스트하는 것.
• 중기 예측(최대 10일 이내) 500 hPa 기하학적 높이와 850 hPa 온도 예측에서 구형 컨벌루션과 반구 대칭성의 개별 및 병합 효과를 평가하는 것.
• 제한된 계산 자원을 가진 연구자들이 사용할 수 있는 계산 효율적이고 물리적 지식을 반영한 대안을 제공하는 것.

제안 방법

• 지구의 구형 기하학, 특히 극지방에서의 특성을 반영하기 위해 구형 조화 함수 기반 컨벌루션 연산을 사용하는 Spherenet 컨벌루션으로 표준 2D 컨벌루션을 대체하는 것.
• 북반구와 남반구 간의 반전된 순환 회전 방향을 반영하기 위해 북반구와 남반구 간에 가중치 공유를 반전시킨 반구 컨벌루션 모듈을 도입하는 것.
• 500 hPa 기하학적 높이와 850 hPa 온도를 목표 변수로 사용하여, 약 1.4° 해상도에서 WeatherBench 데이터셋을 기반으로 수정된 모델을 훈련 및 평가하는 것.
• 표준 CNN, Spherenet 전용, 반구 컨벌루션 전용, Spherenet + 반구 컨벌루션 병합 모델의 네 가지 아키텍처 간의 예측 정확도를 비교하는 것.
• 랜덤 초기 편향을 통한 앙상블 예측을 통해 확률적 예측을 생성하면서도 계산 효율성을 유지하는 것.
• 예측 오류가 높은 다양한 케이스를 검증하여 유동 의존 예측 가능성과 모델의 강건성을 평가하는 것.

실험 결과

연구 질문

• RQ1 컨벌루션 레이어에 지구의 구형 기하학을 통합하면 저파라미터 신경망에서 중기 기상 예측 정확도가 향상되는가?
• RQ2 반대 방향의 순환 회전을 반영한 반구 대칭성 인코딩이 네트워크 아키텍처에 통합되면 예측 정확도가 향상되는가?
• RQ3 구형 컨벌루션과 반구 가중치 공유의 상대적 기여도와 병합 효과는 무엇인가?
• RQ4 고오류 예측 사례는 공간적·시간적으로 어떻게 분포하며, 다양한 모델 실현 간 일관성이 있는가?
• RQ5 물리 기반 아키텍처 수정이 모델 크기나 계산 비용을 증가시키지 않고도 성능 향상을 이끌 수 있는가?

주요 결과

• Spherenet 컨벌루션만 적용해도 500 hPa 기하학적 높이와 850 hPa 온도 예측에서 10일 이내 대부분의 예측 기간에서 정확도가 향상된다.
• 반구 특화 컨벌루션 아키텍처 역시 대기 역학의 반구 간 차이를 잘 포착함에 따라 정확도 향상에 기여한다.
• Spherenet와 반구 컨벌루션의 병합은 가장 높은 예측 정확도를 기록하며, 두 물리적 사전 지식이 상호 보완적인 효과를 발휘함을 시사한다.
• 예측 오류는 주로 겨울에 집중되며, 다양한 훈련 실현 간 일관성이 있어 유동 의존 예측 가능성의 한계를 반영한다.
• Spherenet의 구현은 탄력적이며 고해상도 데이터에 적합하지만, 표준 컨벌루션보다는 여전히 상당히 비용이 많이 든다.
• 결과적으로 물리 기반 아키텍처 선택이 저파라미터 모델의 성능을 의미 있게 향상시킬 수 있음을 보여주며, 대규모 트랜스포머나 GNN 기반 시스템에 대한 계산 자원이 제한된 연구자들에게 실현 가능한 대안을 제공한다.