[논문 리뷰] Inductive biases in deep learning models for weather prediction

Jannik Thuemmel, Matthias Karlbauer외 9명|arXiv (Cornell University)|2023. 04. 06.

Hydrological Forecasting Using AI인용 수 15

한 줄 요약

본 논문은 여섯 개의 최첨단 DLWP(딥러닝 기반 기상 예측) 모델에서의 귀납적 편향을 검토하고, 데이터 선택, 목표, 손실, 아키텍처, 최적화 기법을 분석하며, 기초 모델과 물리정보 기반 편향과 관련한 미래 방향을 논의한다.

ABSTRACT

Deep learning has gained immense popularity in the Earth sciences as it enables us to formulate purely data-driven models of complex Earth system processes. Deep learning-based weather prediction (DLWP) models have made significant progress in the last few years, achieving forecast skills comparable to established numerical weather prediction models with comparatively lesser computational costs. In order to train accurate, reliable, and tractable DLWP models with several millions of parameters, the model design needs to incorporate suitable inductive biases that encode structural assumptions about the data and the modelled processes. When chosen appropriately, these biases enable faster learning and better generalisation to unseen data. Although inductive biases play a crucial role in successful DLWP models, they are often not stated explicitly and their contribution to model performance remains unclear. Here, we review and analyse the inductive biases of state-of-the-art DLWP models with respect to five key design elements: data selection, learning objective, loss function, architecture, and optimisation method. We identify the most important inductive biases and highlight potential avenues towards more efficient and probabilistic DLWP models.

연구 동기 및 목표

• 기후 변화 조건에서 데이터를 데이터 기반 대안으로서의 DL 기반 기상 예측(DLWP)을 활용하는 것을 촉진한다.
• 현재의 최상위 DLWP 모델에 내재된 귀납적 편향을 체계적으로 식별하고 명시한다.
• 데이터, 목표, 손실, 아키텍처, 최적화 전반의 설계 선택이 학습, 일반화, 불확실성에 어떤 영향을 미치는지 평가한다.
• 향후 방향을 개요화하며, 기초 모델과 명시적 물리정보 기반 편향 통합을 포함하여 DLWP 성능을 향상시킨다.

제안 방법

• 여섯 개의 고성능 DLWP 모델(R21, E21, W21, P22, K22, H22)을 조사하고 그 설계 선택을 귀납적 편향에 맵핑한다.
• 데이터 선택, 학습 목표, 손실 구성요소, 신경망 아키텍처, 최적화 전략의 다섯 가지 설계 요소로 각 모델을 분해한다.
• 각 설계 선택이 대기역학 및 서브격자 과정에 대한 가정들을 어떻게 인코드하는지 다이어그램으로 설명한다.
• 반복 예측 대 직접 예측, 확률적 대 결정적 출력, 잔차 예측 대 절대 예측 전략이 학습 편향에 어떤 영향을 주는지 비교한다.
• 손실 함수, 정규화, 불확실성 모형화를 논의하여 최적화와 검증 지표의 정렬을 도모한다.

실험 결과

연구 질문

• RQ1 여섯 개의 DLWP 모델에서 데이터 선택, 예측 목표, 손실 함수, 아키텍처, 최적화가 어떤 귀납적 편향을 인코드하는가?
• RQ2 이러한 편향이 단기에서 중기 예측까지의 학습 효율성, 일반화 및 불확실성 정량화에 어떤 영향을 미치는가?
• RQ3 향후 방향(예: 기초 모델, 물리정보 priors)이 하계·계절 단위 이하의 DLWP 성능에 어떤 방향으로 영향을 미칠 것인가?

주요 결과

• DLWP 모델은 데이터 입력, 예측 대상, 손실 설계 전반에 걸쳐 다양한 귀납적 편향을 포괄하며, 이는 성능과 일반화에 기여한다.
• 반복적이고 확률적 예측 접근법은 오차 누적 관리와 장기 예측의 불확실성 표현에 도움을 준다.
• 생성적 구성요소(GAN, VAE, 다중 동적 VAE 등)는 특히 장기 예측에서 불확실성 및 앙상블 분포를 모델링하는 데 기여한다.
• 고해상도 데이터와 물리정보 기반 입력(예: 지형도, 육해 구분 마스크, 태양복사선)은 도메인 구조를 인코딩하고 기술력을 향상시키는 데 사용된다.
• 저자는 서브계절적-계절적 규모에서 성능을 유지하기 위해 대규모 데이터 세트로 학습된 기초 모델과 명시적 물리 priors를 통한 시대로의 전환을 예상한다.