[논문 리뷰] OceanNet: A principled neural operator-based digital twin for regional oceans

Ashesh Chattopadhyay, Michael Gray외 3명|arXiv (Cornell University)|2023. 10. 01.

Oceanographic and Atmospheric Processes인용 수 4

한 줄 요약

OceanNet는 푸리에 신경 연산자와 예측-평가-수정 통합 기법, 스펙트럼 정규화를 활용한 물리 기반 신경 연산자 기반 지역 해양 순환용 디지털 트윈이다. 이는 스펙트럼 편향과 자동회귀 오차 증식을 억제한다. 과거의 해면 고도 데이터로 훈련된 OceanNet는 곡류의 굽이침과 루프 커���의 계절 예측 성능에서 최신의 수치 해양 모델인 ROMS를 능가하며, 계산 비용을 500,000배 감소시킨다.

ABSTRACT

While data-driven approaches demonstrate great potential in atmospheric modeling and weather forecasting, ocean modeling poses distinct challenges due to complex bathymetry, land, vertical structure, and flow non-linearity. This study introduces OceanNet, a principled neural operator-based digital twin for ocean circulation. OceanNet uses a Fourier neural operator and predictor-evaluate-corrector integration scheme to mitigate autoregressive error growth and enhance stability over extended time scales. A spectral regularizer counteracts spectral bias at smaller scales. OceanNet is applied to the northwest Atlantic Ocean western boundary current (the Gulf Stream), focusing on the task of seasonal prediction for Loop Current eddies and the Gulf Stream meander. Trained using historical sea surface height (SSH) data, OceanNet demonstrates competitive forecast skill by outperforming SSH predictions by an uncoupled, state-of-the-art dynamical ocean model forecast, reducing computation by 500,000 times. These accomplishments demonstrate the potential of physics-inspired deep neural operators as cost-effective alternatives to high-resolution numerical ocean models.

연구 동기 및 목표

• 기존 수치 모델의 계산 비용과 장기 예측 안정성의 한계를 극복하는 안정적이고 데이터 기반의 지역 해양 순환 디지털 트윈을 개발한다.
• turbulent 유동에서 소규모 해양 역학을 정확히 표현하는 데 장애가 되는 딥 뉴럴 네트워크의 스펙트럼 편향을 해결한다.
• 물리 기반 딥 러닝과 수치 통합 기법을 통합하여 장기적이고 고해상도의 해양 예측을 가능하게 한다.
• 해면 고도 데이터만을 사용하여 곡류의 굽이침과 루프 커플러의 에디 등 주요 해양 특징에 대해 경쟁적인 예측 성능을 확보한다.
• 운영 해양학 및 기후 응용 분야에서 고해상도 수치 해양 모델의 확장 가능한 계산 효율성 있는 대안을 확립한다.

제안 방법

• OceanNet는 해양 상태 입력과 향후 상태 간의 비선형 맵핑을 학습하기 위해 푸리에 신경 연산자(FNO)를 사용하여 공간 연산자의 효율적이고 파rameter 효율적인 모델링을 가능하게 한다.
• 장기 예측 중 자동회귀 오차 증식을 완화하기 위해 예측-평가-수정(PEC) 통합 기법을 사용하여 수치적 안정성을 향상시킨다.
• 예측된 해면 고도(SSH) 필드의 푸리에 스펙트럼에 스펙트럼 정규화를 적용하여 고파면수 성분의 이탈을 방지함으로써 스펙트럼 편향을 억제한다.
• 손실 함수는 해양 그리드 포인트에서의 평균 제곱오차(MSE)와 t+5Δt 및 t+10Δt 시점에서의 이중 시간단계 스펙트럼 정규화 손실을 조합하여 모델의 안정성 수명을 연장한다.
• 스펙트럼 정규화는 kT=100 이상의 파면수에 대해 위도 평균의 동쪽 푸리에 스펙트럼을 대상으로 하여 훈련 중 소규모 역학을 유지한다.
• 총 손실는 이중 시간단계 손실의 가중합으로 구성되어 있어, 지수적 메모리 증가 없이 정확한 장거리 역학을 학습할 수 있다.

Figure 1: The domain for the reanalysis data covering the northwestern Atlantic (a). The two subdomains used to develop OceanNet, specifically (b) the GS separation from the central US east coast to 60 ∘ W and (c) tthe LC eddy-shedding region in the eastern GoM, extending from 92 ∘ W into the Atlant

실험 결과

연구 질문

• RQ1 데이터 기반 신경 연산자 모델이 곡류의 굽이침과 루프 커플러와 같은 복잡한 특징에 대해 안정적이고 정확한 장기 예측을 달성할 수 있는가?
• RQ2 해양 모델링에서 딥 뉴럴 네트워크의 스펙트럼 편향을 효과적으로 완화하여 난류 흐름에서 소규모 난류 역학을 유지할 수 있는가?
• RQ3 예측-평가-수정 기법을 활용한 물리 기반 신경 연산자 모델이 고품질 수치 해양 모델인 ROMS보다 계절 예측 과제에서 뛰어난 성능을 보일 수 있는가?
• RQ4 스펙트럼 정규화를 포함한 이중 시간단계 손실 함수가 표준 MSE 훈련을 초월해 해양 예측의 안정성과 정확도를 향상시키는가?
• RQ5 완전히 데이터 기반의 해양 모델이 기존 수치 모델에 비해 수십만 배 이상 낮은 계산 비용으로 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• OceanNet는 북서대서양의 해면 고도(SSH) 필드를 예측하는 데서 최신의 지역 해양 모델링 시스템(ROMS)을 능가하며, 특히 곡류의 굽이침과 루프 커플러의 계절 예측에서 뛰어난 성능을 보였다.
• ROMS 대비 계산 비용을 500,000배 감소시켜 높은 효율성의 우월성을 입증했으며, 정확도는 유지하거나 초월했다.
• 예측-평가-수정(PEC) 통합 기법의 사용이 자동회귀 오차 증식을 크게 감소시켜 장기 예측의 안정성을 향상시켰다.
• 스펙트럼 정규화가 SSH 필드의 푸리에 스펙트럼에서 고파면수 성분을 유지함으로써 스펙트럼 편향을 효과적으로 억제하여 소규모 특징의 표현을 향상시켰다.
• t+5Δt 및 t+10Δt 시점에서의 이중 시간단계 손실 함수는 안정성 수명을 연장하여 지수적 메모리 증가 없이 신뢰할 수 있는 장기 예측이 가능하게 하였다.
• OceanNet는 고해상도 SSH 필드를 예측하는 데서 고해상도 수치 모델을 능가하거나 경쟁하는 성능을 보인 최초의 완전히 데이터 기반의 해양 모델이다.

Figure 3: OceanNet performance metrics in the GoM: RMSE (a-c), CC (d-f), and MHD (g-i). In the left column, probability density functions (PDFs) are presented for 1,000 random pairs sourced from the training data spanning 1993-2018 (means shown by black horizontal lines). The performance statistics,