[논문 리뷰] On some limitations of data-driven weather forecasting models

Massimo Bonavita|arXiv (Cornell University)|2023. 09. 15.

Meteorological Phenomena and Simulations인용 수 8

한 줄 요약

이 논문은 데이터 기반 기상 예보의 충실도와 물리적 일관성을 분석하고(예: Pangu-Weather), ML 모델이 특정 응용에 가치를 더할 수 있지만 물리 기반 모델에 비해 충실도와 물리적 일관성이 부족할 수 있어 전통적인 예보 기술 해석에 영향을 준다.

ABSTRACT

As in many other areas of engineering and applied science, Machine Learning (ML) is having a profound impact in the domain of Weather and Climate Prediction. A very recent development in this area has been the emergence of fully data-driven ML prediction models which routinely claim superior performance to that of traditional physics-based models. In this work, we examine some aspects of the forecasts produced by an exemplar of the current generation of ML models, Pangu-Weather, with a focus on the fidelity and physical consistency of those forecasts and how these characteristics relate to perceived forecast performance. The main conclusion is that Pangu-Weather forecasts, and possibly those of similar ML models, do not have the fidelity and physical consistency of physics-based models and their advantage in accuracy on traditional deterministic metrics of forecast skill can be at least partly attributed to these peculiarities. Balancing forecast skill and physical consistency of ML-driven predictions will be an important consideration for future ML models. However, and similarly to other modern post-processing technologies, the current ML models appear to be already able to add value to standard NWP output for specific forecast applications and combined with their extremely low computational cost during deployment, are set to provide an additional, useful source of forecast information. .

연구 동기 및 목표

• 전통적 기술 지표를 넘어 데이터 기반 기상 예보 평가를 동기 부여한다.
• 물리 기반 모델에 비해 ML 예측의 충실도를 평가한다.
• 데이터 기반 예측의 물리적 일관성을 검토하고 신뢰 가능한 예보에 대한 시사점을 제시한다.
• 제한에도 불구하고 특정 응용에 ML 모델이 가치를 더할 수 있는 방법을 식별한다.

제안 방법

• 전형적인 데이터 기반 모델(Pangu-Weather)이 생성한 예보를 검토한다.
• 날씨 예측 맥락에서 ML 예보의 충실도와 물리적 일관성을 평가한다.
• ML 예보 특성과 물리 기반 모델의 기대치를 비교한다.
• 저계산 비용과 사후처리가 예보 유용성에 어떻게 영향을 미치는지 논의한다.

실험 결과

연구 질문

• RQ1 데이터 기반 기상 예보가 물리 기반 모델과 비교할 만한 충실도를 보이는가?
• RQ2 예보가 확립된 대기 역학 및 보존 법칙과 물리적으로 일관되는가?
• RQ3 ML 모델의 명백한 예보 기술은 그 충실도와 물리적 일관성과 어떤 관계가 있는가?
• RQ4 제한에도 불구하고 ML 모델이 특정 응용을 위해 가치를 제공하는가?

주요 결과

• ML 예보는 물리 기반 모델에 비해 충실도와 물리적 일관성이 부족할 수 있다.
• 전통적 결정론적 기술 지표에서 ML 모델의 이점은 부분적으로 이러한 특성들에 의해 실제 물리적 정확성과 다르게 반영되었을 수 있다.
• ML 예보는 여전히 특정 예보 응용에 가치를 더할 수 있다.
• ML 배치의 극히 낮은 계산 비용은 표준 NWP 출력과 결합될 때 예보 정보의 추가 원천으로서의 사용을 뒷받침한다.