[논문 리뷰] Towards a Precipitation Bias Corrector against Noise and Maldistribution

Xiaoyang Xu, Yiqun Liu외 6명|arXiv (Cornell University)|2019. 10. 15.

Meteorological Phenomena and Simulations참고 문헌 23인용 수 7

한 줄 요약

이 논문은 노이즈가 있는 입력 데이터를 처리하기 위해 디노이징 오토인코더 블록을, 강우 강도의 순서가 지정된 분포 문제를 해결하기 위해 순서 회귀 블록을 조합한 전문가가 없는 딥러닝 모델을 제안한다. ECMWF 기상 데이터를 대상으로 평가한 결과, 기존의 고전적 기계학습 및 딥러닝 기준 모델들을 능가하는 최고 수준의 위협 점수(Threat Score, TS)를 기록하여 정량적 지표와 시각화 품질 측면에서 모두 뛰어난 성능을 보였다.

ABSTRACT

With broad applications in various public services like aviation management and urban disaster warning, numerical precipitation prediction plays a crucial role in weather forecast. However, constrained by the limitation of observation and conventional meteorological models, the numerical precipitation predictions are often highly biased. To correct this bias, classical correction methods heavily depend on profound experts who have knowledge in aerodynamics, thermodynamics and meteorology. As precipitation can be influenced by countless factors, however, the performances of these expert-driven methods can drop drastically when some un-modeled factors change. To address this issue, this paper presents a data-driven deep learning model which mainly includes two blocks, i.e. a Denoising Autoencoder Block and an Ordinal Regression Block. To the best of our knowledge, it is the first expert-free models for bias correction. The proposed model can effectively correct the numerical precipitation prediction based on 37 basic meteorological data from European Centre for Medium-Range Weather Forecasts (ECMWF). Experiments indicate that compared with several classical machine learning algorithms and deep learning models, our method achieves the best correcting performance and meteorological index, namely the threat scores (TS), obtaining satisfactory visualization effect.

연구 동기 및 목표

• 관측 데이터의 한계와 전통적인 기상 모델의 한계로 인해 지속적으로 발생하는 수치 강우 예측의 편향 문제를 해결하기 위해.
• 전문가 지식에 의존하지 않고 전문가가 없는 데이터 기반 접근 방식을 개발하여 전문가 의존도를 낮추기 위해.
• 일반적으로 전통적인 전문가 기반 방법의 성능을 저해하는 노이즈가 많고 분포가 불량한 강우 데이터 상황에서도 보정 성능을 향상시키기 위해.
• 기존의 고전적 및 딥러닝 방법들과 비교해 더 나은 기상 평가 지표, 특히 위협 점수(Threat Score, TS)를 달성하기 위해.
• 모델링되지 않은 요소의 변화가 발생하더라도, 도메인 특화 가정 없이 대규모 기상 데이터에서 학습함으로써 강건한 편향 보정을 가능하게 하기 위해.

제안 방법

• 모델은 ECMWF의 37개 기상 변수에서 오는 노이즈를 제거하기 위해 디노이징 오토인코더 블록을 활용하여 입력 데이터 품질을 향상시킨다.
• 강우 강도 수준의 순서적 성격을 모델링하기 위해 순서 회귀 블록을 사용하여 강우 데이터에서 흔히 발생하는 분포 불량 문제를 해결한다.
• 두 블록은 편향 보정 성능을 최적화하기 위해 함께 훈련되며, 오토인코더는 깨끗한 입력을 재구성하고, 순서 회귀 블록은 정확한 강우 강도 범주를 예측한다.
• 모델은 엔드 투 엔드로 훈련 가능하여, 전문가가 설계한 규칙 없이도 입력 변수와 강우 출력 간의 복잡한 비선형 관계를 학습할 수 있다.
• 모델은 과거의 ECMWF 데이터를 기반으로 훈련되어, 원시 모델 출력을 관측된 강우로 매핑하면서 체계적인 편향을 최소화하도록 학습한다.
• 평가에서는 위협 점수(Threat Score, TS)와 시각적 검토를 통해 성능을 평가하며, 고전적 기계학습 및 딥러닝 기준 모델들과의 비교를 포함한다.

실험 결과

연구 질문

• RQ1 전문가 지식에 의존하지 않고 데이터 기반 딥러닝 모델이 수치 강우 예측의 편향을 효과적으로 줄일 수 있는가?
• RQ2 제안된 모델은 고전적 기계학습 및 딥러닝 방법과 비교해 강우 편향 보정에서 어떤 성능을 보이는가?
• RQ3 디노이징 오토인코더 블록이 강우 예측 정확도에 영향을 미치는 노이즈가 많은 입력 데이터의 영향을 어느 정도 완화할 수 있는가?
• RQ4 순서 회귀 블록은 특히 경미한 강우와 폭우 사건에 대해 분포가 불량한 강우 데이터에서 성능을 향상시킬 수 있는가?
• RQ5 모델은 전문가 기반 보정 방법과 비교해 모델링되지 않은 요소가 변화하더라도 강건성을 유지하는가?

주요 결과

• 제안된 모델은 비교된 모든 방법 중에서 가장 높은 위협 점수(Threat Score, TS)를 기록하여 강우 발생 예측의 정확성을 뛰어나게 보였다.
• 모델은 경미한 강우와 폭우 예측에서 모두 편향을 크게 줄였으며, 다양한 평가 지표에서 고전적 및 딥러닝 기준 모델들을 능가했다.
• 보정된 강우 출력의 시각화 결과는 관측 패턴과 더 잘 일치하고 공간적으로 일관성이 높아, 더 현실적인 결과를 나타냈다.
• 디노이징 오토인코더 블록은 입력 기상 변수의 노이즈를 효과적으로 감소시켜 더 안정적이고 정확한 예측에 기여했다.
• 순서 회귀 블록은 강우 강도의 비선형적이고 순서가 지정된 성격을 성공적으로 모델링하여 극단적인 강우 사건에 대한 예측 신뢰도를 향상시켰다.
• 모델은 모델링되지 않은 요소의 변화가 발생하더라도 재훈련 없이도 전문가 개입 없이도 높은 성능을 유지하는 것으로 나타나 강건성을 입증했다.