[논문 리뷰] Adjoint-Matching Neural Network Surrogates for Fast 4D-Var Data Assimilation

Austin Chennault, Andrey A. Popov외 5명|arXiv (Cornell University)|2021. 11. 16.

Model Reduction and Neural Networks인용 수 10

한 줄 요약

이 논문은 학습 손실에 도함수 정보를 통합하여 4D-Var 자료 통합을 가속화하는 인접 매칭 신경망 대체 모델을 제안한다. 정방향 역학과 인접 감도를 모두 일치시키도록 네트워크를 훈련시킴으로써, 표준 신경망 대체 모델이 정방향 데이터만을 사용하는 것보다 훨씬 높은 4D-Var 해의 정확도와 일반화 능력을 달성한다.

ABSTRACT

Data assimilation is the process of fusing information from imperfect computer simulations with noisy, sparse measurements of reality to obtain improved estimates of the state or parameters of a dynamical system of interest. The data assimilation procedures used in many geoscience applications, such as numerical weather forecasting, are variants of the our-dimensional variational (4D-Var) algorithm. The cost of solving the underlying 4D-Var optimization problem is dominated by the cost of repeated forward and adjoint model runs. This motivates substituting the evaluations of the physical model and its adjoint by fast, approximate surrogate models. Neural networks offer a promising approach for the data-driven creation of surrogate models. The accuracy of the surrogate 4D-Var solution depends on the accuracy with each the surrogate captures both the forward and the adjoint model dynamics. We formulate and analyze several approaches to incorporate adjoint information into the construction of neural network surrogates. The resulting networks are tested on unseen data and in a sequential data assimilation problem using the Lorenz-63 system. Surrogates constructed using adjoint information demonstrate superior performance on the 4D-Var data assimilation problem compared to a standard neural network surrogate that uses only forward dynamics information.

연구 동기 및 목표

• 비용이 많이 드는 물리 모델 평가를 빠른 신경망 대체 모델로 대체하여 4D-Var 자료 통합을 가속화한다.
• 단지 정방향 역학 외에도 인접 모델 정보를 훈련 과정에 통합하여 대체 모델의 정확도를 향상시킨다.
• 정방향 데이터만을 사용하는 표준 대체 모델 훈련 방식보다 인접 매칭이 더 나은 4D-Var 해를 도출함을 입증한다.
• 다양한 인접 정보 기반 훈련 전략이 정방향 및 인접 모델 일반화에 미치는 영향을 분석한다.
• 로렌츠-63 시스템에서 이 방법을 검증하여 순차적 자료 통합 과제에서 뛰어난 성능을 보임을 보여준다.

제안 방법

• 신경망 손실 함수에 인접 모델 도함수를 포함하는 물리 기반 기계 학습 프레임워크를 수립한다.
• 사용자 정의 훈련 전략 네 가지를 도입한다: 표준(정방향 전용), 라그랑주(라그랑주 승수를 통한 인접), 무작위(무작위 인접 벡터), 랜드컬럼(인접 행렬의 무작위 열 벡터).
• 자동 미분을 사용하여 신경망의 입력에 대한 인접 감도를 계산함으로써, 정방향 및 인접 역학 양쪽 모두에 기반한 기울기 기반 훈련을 가능하게 한다.
• 모델 출력 및 인접-벡터 곱의 오차를 모두 벌어지게 하는 병합 손실 함수를 사용하여 대체 네트워크를 훈련한다.
• 정방향 및 인접 역학 일반화에 대해 RMSE 지표를 사용하여 테스트 데이터에 대한 대체 모델의 성능을 검증한다.
• 훈련된 대체 모델을 4D-Var 최적화 문제에 적용하고, 진짜 4D-Var 결과와의 RMSE를 통해 해의 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 신경망 훈련에 인접 모델 정보를 통합하면 4D-Var 자료 통합 해의 정확도가 향상되는가?
• RQ2 정방향 전용 훈련 방식과 비교할 때, 인접 매칭 훈련 방식은 정방향 및 인접 모델 일반화 능력에서 어떤 차이를 보이는가?
• RQ3 라그랑주, 무작위, 또는 랜드컬럼 중 어느 인접 정보 기반 훈련 전략이 4D-Var 응용에서 가장 뛰어난 전반적 성능을 낼 수 있는가?
• RQ4 향상된 인접 모델링 자체가 향상된 4D-Var 해 품질을 설명할 수 있는가, 아니면 정방향 역학 정확성 역시 필수적인가?
• RQ5 인접 매칭 대체 모델은 순차적 자료 통합 시나리오에서 새로운 데이터에 잘 일반화되는가?

주요 결과

• 라그랑주 기반 인접 매칭 대체 모델은 테스트 데이터에서 정방향 모델 일반화 RMSE가 0.39 ± 0.02로 가장 낮게 나타났으며, 이는 표준 대체 모델(0.48 ± 0.05)보다 유의미하게 뛰어났다.
• 랜드컬럼 방법은 인접 모델 일반화 성능에서 가장 뛰어난 결과를 보였으며(RMSE = 0.74 ± 0.01), 표준 대체 모델(0.97 ± 0.01)을 뛰어넘었다.
• 모든 인접 정보 기반 방법이 표준 대체 모델보다 4D-Var 해의 정확도를 크게 향상시켰으며, 라그랑주 방법이 4D-Var RMSE 0.37 ± 0.02로 가장 우수한 성능을 기록했다.
• 쌍체 t-검정 결과, 모든 RMSE 간 차이가 유의미하게(p = 0.95) 확인되어 인접 통합으로 인한 안정적인 성능 향상이 입증되었다.
• 향상된 4D-Var 해 품질은 정방향 또는 인접 모델 일반화 향상만으로는 완전히 설명되지 않으며, 양쪽 요소가 상호 보완적인 효과를 가짐을 시사한다.
• 훈련 손실 곡선 분석 결과, 인접 정보 기반 방법은 훈련 중 정방향 손실은 낮추지만 인접 손실은 높이는 경향을 보였으며, 이는 학습 목표 간의 상충 관계를 반영한다.