[논문 리뷰] Learning Generalized Quasi-Geostrophic Models Using Deep Neural Numerical Models

Redouane Lguensat, Julien Le Sommer외 3명|arXiv (Cornell University)|2019. 11. 20.

Model Reduction and Neural Networks참고 문헌 29인용 수 10

한 줄 요약

이 논문은 상층 해양 동역학 예측을 향상시키기 위해 물리 기반 수치적 방법과 학습 가능한 컨볼루션 네트워크(ConvNets)를 융합한 하이브리드 프레임워크인 딥 뉴럴 수치 모델(DNNMs)을 소개한다. 3차원 수치적 방법을 기반으로 한 QG(준지구력) 모델에서 지구력 속도장의 비선형 보정을 학습하는 컨볼루션 네트워크(ConvNet)를 훈련시킴으로써, 기존 QG 모델보다 더 높은 해면 높이(SSH) 예측 정확도를 달성하였으며, 학습된 필터는 이론적 QG 매개변수에 매우 가까이 근접해 있다.

ABSTRACT

We introduce a new strategy designed to help physicists discover hidden laws governing dynamical systems. We propose to use machine learning automatic differentiation libraries to develop hybrid numerical models that combine components based on prior physical knowledge with components based on neural networks. In these architectures, named Deep Neural Numerical Models (DNNMs), the neural network components are used as building-blocks then deployed for learning hidden variables of underlying physical laws governing dynamical systems. In this paper, we illustrate an application of DNNMs to upper ocean dynamics, more precisely the dynamics of a sea surface tracer, the Sea Surface Height (SSH). We develop an advection-based fully differentiable numerical scheme, where parts of the computations can be replaced with learnable ConvNets, and make connections with the single-layer Quasi-Geostrophic (QG) model, a baseline theory in physical oceanography developed decades ago.

연구 동기 및 목표

• 해양 시스템 내 숨겨진 동역학 법칙을 발견하기 위해 물리적 지식과 기계 학습을 융합한 하이브리드 모델링 프레임워크를 개발하는 것.
• 기존의 기하학적 근사 이론(QG)을 초월해, 기울기 수치적 방법 내에서 학습 가능한 구성 요소를 활용하여 해면 높이(SSH) 예측 정확도를 향상시키는 것.
• 물리적 제약 조건을 유지하면서도 미지의 동역학을 데이터 기반으로 개선할 수 있는 해석 가능한, 미분 가능한 모델을 제공하는 것.
• 실제 위성 기반 해양 데이터(NATL60)를 활용하여 접근법을 검증함으로써, 물리적 모델 발견 잠재력이 있음을 입증하는 것.

제안 방법

• 3차원 상향식 공간 이산화와 1차원 오일러 시간 적분을 기반으로 한 완전히 미분 가능한 광역 이동-확산 수치적 방법을 사용하여, CFL 조건을 만족함으로써 수치적 안정성을 확보한다.
• 핵심 모델은 잠재성 운동량(PV)이 지구력 속도장에 의해 이동되는 수정된 QG 프레임워크이며, 이 속도장에 학습 가능한 컨볼루션 네트워크(ConvNet)가 대체되거나 보완된다.
• PyTorch 기반으로 구현된 딥 뉴럴 수치 모델(DNNM)은 물리적 해법기 및 신경망 구성 요소를 모두 거쳐 엔드 투 엔드 역전파를 가능하게 한다.
• 컨볼루션 네트워크는 지구력 속도장의 비선형 보정을 예측하도록 훈련되며, 이 보정은 표준 QG 속도장에 더해져 수정된 유동장이 형성된다.
• 손실 함수는 예측된 해면 높이(SSH) 예측과 목표값 간의 스케일된 평균 제곱 오차, 속도장의 수렴성 페널티, L2 정규화를 포함한다.
• 학습은 Adam 최적화기와 학습률 감소, 배치 정규화를 사용하며, 훈련된 컨볼루션 네트워크를 동결하여 즉시 사용 가능한 플러그 앤 플레이 방식의 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 물리 기반 PDE 해법기와 학습 가능한 신경망을 융합한 하이브리드 모델이 기존 준지구력(QG) 모델을 초월해 SSH 예측 정확도를 향상시킬 수 있는가?
• RQ2 학습된 컨볼루션 네트워크 구성 요소가, 미분 가능한 수치적 프레임워크 내에서 이론적 지구력 속도장과 얼마나 가까이 근접하는가?
• RQ3 학습된 비선형 속도 보정 성분이 선형 QG 근사 이론을 초월해, 특히 해양 전선 근처에서의 동역학을 포착할 수 있는가?
• RQ4 훈련된 신경망 구성 요소가 QG 모델에 물리적으로 의미 있는 보정으로 해석될 수 있는가, 아니면 순수한 데이터 기반 근사에 불과한가?

주요 결과

• 훈련된 컨볼루션 네트워크는 테스트 데이터에서 더 낮은 RMSE를 기록함으로써, 표준 QG 모델 대비 1일 SSH 예측 정확도를 크게 향상시키는 속도 보정을 학습하였다.
• 컨볼루션 네트워크에서 최적화된 필터 가중치(F)는 이론적 QG 매개변수 행렬과 매우 유사한 값을 보였으며, 이는 물리적으로 타당한 보정을 학습했다는 것을 시사한다.
• 컨볼루션 네트워크의 출력은 SSH 기울기 및 해양 전선과 강한 공간 상관성을 보였으며, 이는 전선과 같은 주요 기능에서 동역학을 향상시키는 방식으로 학습되었다는 것을 의미한다.
• 컨볼루션 네트워크를 미분 가능한 수치적 방법 내에 통합함으로써 안정적인 훈련과 추론이 가능해졌으며, 전체 아키텍처를 거쳐 역전파가 가능했다.
• 훈련된 신경망 구성 요소는 별도로 추출되어 기존 QG 코드베이스에 재사용 가능하며, 재훈련 없이 실시간 배포가 가능하다.
• 비선형 속도 항의 추가로 인해 예측 정확도 향상이 명확하게 관측되었으며, 이는 선형 지구력 균형을 초월한 학습의 가치를 입증한다.