[논문 리뷰] Can we integrate spatial verification methods into neural-network loss functions for atmospheric science?

Ryan Lagerquist, Imme Ebert‐Uphoff|arXiv (Cornell University)|2022. 03. 21.

Meteorological Phenomena and Simulations인용 수 6

한 줄 요약

이 논문은 대기과학 분야에서 신경망 학습에 공간적 검증 방법을 통합하는 공간적으로 강화된 손실 함수(SpAtially Enhanced Loss functions, SELFs)를 제안한다. 이는 이웃 지역 또는 스펙트럼 필터(Fourier/웨이블릿)를 사용하여 일반적인 평가 지표인 브리어 스코어를 개선한다. 결과적으로 스펙트럼 기반 SELFs로 학습된 모델은 픽셀 단위 손실에 비해 특히 단일 세포에서 토네이도에 이르기까지 다양한 대류 스케일에서 훨씬 더 잘 校정된 확률 예측을 제공한다.

ABSTRACT

In the last decade, much work in atmospheric science has focused on spatial verification (SV) methods for gridded prediction, which overcome serious disadvantages of pixelwise verification. However, neural networks (NN) in atmospheric science are almost always trained to optimize pixelwise loss functions, even when ultimately assessed with SV methods. This establishes a disconnect between model verification during vs. after training. To address this issue, we develop spatially enhanced loss functions (SELF) and demonstrate their use for a real-world problem: predicting the occurrence of thunderstorms (henceforth, "convection") with NNs. In each SELF we use either a neighbourhood filter, which highlights convection at scales larger than a threshold, or a spectral filter (employing Fourier or wavelet decomposition), which is more flexible and highlights convection at scales between two thresholds. We use these filters to spatially enhance common verification scores, such as the Brier score. We train each NN with a different SELF and compare their performance at many scales of convection, from discrete storm cells to tropical cyclones. Among our many findings are that (a) for a low (high) risk threshold, the ideal SELF focuses on small (large) scales; (b) models trained with a pixelwise loss function perform surprisingly well; (c) however, models trained with a spectral filter produce much better-calibrated probabilities than a pixelwise model. We provide a general guide to using SELFs, including technical challenges and the final Python code, as well as demonstrating their use for the convection problem. To our knowledge this is the most in-depth guide to SELFs in the geosciences.

연구 동기 및 목표

• 대기 신경망에서 학습(픽셀 단위 손실)과 평가(공간 검증) 사이의 격차를 해소하기 위해.
• 학습 과정에 직접 공간 검증 원리를 통합한 공간적으로 강화된 손실 함수(Self-regularized Loss Functions, SELFs)를 개발하기 위해.
• 다양한 공간 스케일에서 실제 세계의 뇌전(대류) 예측에 대해 SELFs를 평가하기 위해.
• 지구과학 응용 분야에서 SELFs를 구현하기 위한 실용적이고 오픈소스 가이드를 제공하기 위해.
• 표준 픽셀 단위 학습에 비해 SELFs가 더 잘 校정된 확률 예측을 제공하는가를 입증하기 위해.

제안 방법

• 이웃 지역 또는 스펙트럼 필터(Fourier/웨이블릿)를 적용하여 브리어 스코어와 같은 공간 검증 지표를 공간적으로 강화함으로써 SELFs를 설계한다.
• 공간 필터를 사용해 특정 스케일의 대류를 강조한다—이웃 필터링으로는 작은 스케일, 스펙트럼 분해로는 중간에서 큰 스케일을 대상으로 한다.
• 표준 손실 함수를 수정하여 픽셀 단위 비교 대신 공간 필터링 및 스케일 인식 검증 지표를 사용한다.
• 다양한 대류 강도 임계값과 공간 스케일에서 다양한 SELFs로 신경망을 학습하고 성능을 비교한다.
• 수치적 안정성과 계산 효율성에 대한 기술적 고려사항을 포함하여, SELFs의 전체 파이썬 코드를 구현하고 배포한다.
• 관측 및 재분석 데이터를 사용하여 실제 세계의 대류 예측 작업에서 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 공간 검증 방법이 대기과학 분야의 신경망 손실 함수에 효과적으로 통합될 수 있는가?
• RQ2 다른 공간 필터(이웃 대비 스펙트럼)는 다양한 대류 스케일에서 모델 성능에 어떻게 영향을 미치는가?
• RQ3 SELFs로 학습하면 표준 픽셀 단위 손실에 비해 더 잘 校정된 확률 예측이 이루어지는가?
• RQ4 대류 예측의 다양한 위험 임계값에서 SELFs의 최적 스케일 집중은 무엇인가?
• RQ5 SELFs는 실용적으로 구현되고 지구과학 응용 분야 전반에 일반화될 수 있는가?

주요 결과

• 저위험 임계값에서는 소규모 대류에 최적화된 SELF가 적합하며, 고위험 임계값에서는 더 큰 스케일의 특징이 유리하다.
• 픽셀 단위 손실 함수로 학습된 모델은 공간 검증과의 괴리에도 불구하고 많은 지표에서 놀라울 정도로 잘 성능을 내는 편이다.
• 스펙트럼 필터 기반 SELFs로 학습한 모델은 특히 중간에서 큰 스케일에서 표준 픽셀 단위 학습에 비해 훨씬 더 잘 校정된 확률 예측을 제공한다.
• 스펙트럼 필터(Fourier 또는 웨이블릿)의 사용은 고정된 이웃 필터보다 더 민첩하고 스케일에 적응하는 공간 강화를 가능하게 한다.
• 제안된 SELF 프레임워크는 일반화 가능하며 지구과학 응용 분야에 실용적이고 오픈소스로 구현 가능한 솔루션을 제공한다.
• SELFs로 인해 공간 검증 지표로 측정했을 때, 단일 스톰 셀에서 토네이도에 이르기까지 다양한 공간 스케일에서 예측 신뢰성이 향상된다.