[논문 리뷰] AI-based data assimilation: Learning the functional of analysis estimation

Jan D. Keller, Roland Potthast|arXiv (Cornell University)|2024. 06. 01.

Meteorological Phenomena and Simulations인용 수 4

한 줄 요약

이 논문은 기존 분석 데이터셋에 의존하지 않고 변분 비용 함수를 신경망에 직접 통합하는 새로운 딥러닝 기반 변분 자료통합 방법인 AI-Var를 제안한다. 네트워크를 끝에서 끝까지 변분 비용 함수를 최소화하도록 훈련시킴으로써, 수치 기상예보의 정확한 初기 조건을 더 낮은 계산 비용으로 달성하며, 이론적 및 실제 사례에서의 가능성을 입증한다.

ABSTRACT

The integration of observational data into numerical models, known as data assimilation (DA), is fundamental for making Numerical Weather Prediction (NWP) possible, with breathtaking success over the past 60 years (Bauer et al. 2015). Traditional DA methods, such as variational techniques and ensemble Kalman filters, are basic pillars of current NWP by incorporating diverse observational data. However, the emergence of artificial intelligence (AI) presents new opportunities for further improvements. AI-based approaches can emulate the complex computations of traditional NWP models at a reduced computational cost, offering the potential to speed up and improve analyses and forecasts dramatically (e.g. Pathak et al., 2022; Bi et al., 2023; Lam et al., 2023; Bouallegue et al., 2023). AI itself plays a growing role in optimization (e.g. Fan et al., 2024), which offers new possibilities also beyond model emulation. In this paper, we introduce a novel AI-based variational DA approach designed to replace classical methods of DA by leveraging deep learning techniques. Unlike previous hybrid approaches, our method integrates the DA process directly into a neural network, utilizing the variational DA framework. This innovative AI-based system, termed AI-Var, employs a neural network trained to minimize the variational cost function, enabling it to perform DA without relying on pre-existing analysis datasets. We present a proof-of-concept implementation of this approach, demonstrating its feasibility through a series of idealized and real-world test cases. Our results indicate that the AI-Var system can efficiently assimilate observations and produce accurate initial conditions for NWP, highlighting its potential to carry out the DA process in weather forecasting. This advancement paves the way for fully data-driven NWP systems, offering a significant leap forward in computational efficiency.

연구 동기 및 목표

• 기존 분석 데이터셋에 의존하지 않고 고전적 분석 단계를 건너뛰는 완전히 데이터 기반의 AI 기반 자료통합 시스템을 개발하는 것.
• 변분 자료통합 프레임워크를 신경망 아키텍처에 직접 통합하여 계산 효율성을 향상시키는 것.
• 진정한 분석 필드에 의존하지 않고도 변분 비용 함수를 최소화하도록 신경망을 훈련시킬 수 있는지 입증하는 것.
• AI-Var가 완전히 데이터 기반의 수치 기상예보 시스템의 기초가 될 잠재력을 탐색하는 것.
• 이론적 및 실제 기상 데이터(표면 기온(T2M) 필드 포함)에서의 성능 평가

제안 방법

• 3D-Var 변분 비용 함수를 딥러닝 신경망 내에서 미분 가능한 손실 함수로 설정한다.
• 배경 필드와 관측치(위치 정보 포함)를 입력으로 받아 분석 필드를 출력하는 완전히 연결된 신경망을, 변분 비용 함수를 최소화하도록 훈련시킨다.
• 마할라노비스 거리로 배경 오차와 관측 오차의 불일치 항목을 조합하며, 정규화된 가우시안 기반의 배경 오차 공분산 행렬(B-행렬)을 사용한다.
• 합성 및 실제 관측 데이터를 사용하여 Adam 최적화기와 함께 확률적 경사하강법으로 네트워크를 훈련시키며, 입력 필드는 정규화하고 관측 위치는 입력 벡터의 일부로 인코딩한다.
• 진정한 분석 데이터셋이 필요 없이 변분 비용 함수를 직접 최소화함으로써 자기지도 학습(self-supervised learning) 방식을 사용한다.
• PyTorch를 사용하여 구현하며, 격자 기반 기상 필드의 배치 처리를 위한 데이터 로딩 및 훈련 루프를 설계한다.

실험 결과

연구 질문

• RQ1 기존에 계산된 분석 필드가 없이도 변분 비용 함수를 직접 최소화하도록 딥러닝 신경망을 훈련시켜 자료통합을 수행할 수 있는가?
• RQ2 배경 필드와 관측치만으로 훈련된 경우 AI-Var 방법이 정확한 초기 조건을 얼마나 잘 재구성하는가?
• RQ3 배경 오차 공분산 행렬 표현 방식(예: 가우시안 커널)이 분석 품질에 미치는 영향은 어떠한가?
• RQ4 이상적인 공간 변동성을 보이는 실제 기상 데이터(예: 2m 기온(T2M))에 대해 AI-Var 프레임워크를 성공적으로 적용할 수 있는가?
• RQ5 분석 오차와 계산 효율성 측면에서 AI-Var는 전통적 3D-Var에 비해 얼마나 우수한가?

주요 결과

• AI-Var 방법은 변분 비용 함수를 성공적으로 최소화하며, 이론적 및 실제 사례 모두에서 정확한 초기 조건을 생성한다.
• 이론적 사례에서는 배경 필드 대비 분석 오차를 최대 70%까지 감소시켜 강력한 학습 능력을 입증한다.
• 실제 T2M 데이터에 대해서는 오차 감소가 뚜렷했지만, 고정된 가우시안 B-행렬 사용으로 인해 성능에 다소 제한이 있었으며, 더 적응형 공분산 모델이 도입될 경우 향상 가능성을 시사한다.
• 독립된 관측치를 사용한 교차검증 실험을 통해 방법의 일반화 능력이 확인되었지만, 선택된 B-행렬 설정 하에서는 최적의 결과는 아니었다.
• 개념 증명 구현 결과, 변분 비용 함수에 대해 엔드 투 엔드 훈련이 진정한 분석 데이터에 접근하지 못한 상태에서도 복잡한 자료통합 동역학을 학습할 수 있음을 보여준다.
• 결과적으로 AI-Var는 계산 효율성이 향상된 완전히 데이터 기반의 수치 기상예보 시스템으로 향하는 실현 가능한 길임을 시사한다.