[논문 리뷰] Multiscale Neural Operator: Learning Fast and Grid-independent PDE Solvers

Björn Lütjens, Catherine H. Crawford외 3명|arXiv (Cornell University)|2022. 07. 23.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 격자에 의존하지 않고 국소적이지 않은 파arametrization을 갖는 새로운 물리 기반 기계 학습 대체 모델인 다중 척도 신경 연산자(Multiscale Neural Operator, MNO)를 소개한다. 이 모델은 다중 척도 편미분방정식(PDE)을 해결하기 위해 설계되었으며, 근사적으로 선형에 가까운 런타임 복잡도를 달성하고, 혼돈스러운 다중 척도 로렌츠96 시스템에서 최신 기술 대비 정확도와 유연성 면에서 뛰어난 성능을 보인다.

ABSTRACT

Numerical simulations in climate, chemistry, or astrophysics are computationally too expensive for uncertainty quantification or parameter-exploration at high-resolution. Reduced-order or surrogate models are multiple orders of magnitude faster, but traditional surrogates are inflexible or inaccurate and pure machine learning (ML)-based surrogates too data-hungry. We propose a hybrid, flexible surrogate model that exploits known physics for simulating large-scale dynamics and limits learning to the hard-to-model term, which is called parametrization or closure and captures the effect of fine- onto large-scale dynamics. Leveraging neural operators, we are the first to learn grid-independent, non-local, and flexible parametrizations. Our extit{multiscale neural operator} is motivated by a rich literature in multiscale modeling, has quasilinear runtime complexity, is more accurate or flexible than state-of-the-art parametrizations and demonstrated on the chaotic equation multiscale Lorenz96.

연구 동기 및 목표

• 기후, 유체역학 등 다양한 다중 척도 시스템에서 고해상도 수치 시뮬레이션의 계산 비용 문제를 해결하기 위해.
• 기존의 대규모 물리 법칙을 알고 있는 바탕으로, 오직 미세 구조 스케일(parametrization) 항만을 학습함으로써 빠르고 정확한 대체 모델을 개발하기 위해.
• 기존의 기계 학습 기반 대체 모델의 한계인 데이터 요구량, 격자 의존성, 유연성 부족 문제를 해결하기 위해, 격자에 의존하지 않고 국소적이지 않은 학습을 위한 신경 연산자를 활용하기 위해.
• 혼돈스러운 다중 척도 PDE, 예를 들어 로렌츠96 시스템에서 효율적인 불확실성 정량화와 파rameter 탐색을 가능하게 하기 위해.

제안 방법

• PDE를 대규모 동역학(LS)과 명시적으로 알려진 물리 법칙에 의해 해결되는 부분, 그리고 미세 구조 효과(FS)로 분해한다. 이 미세 구조 효과는 parametrization 항으로 모델링된다.
• 대규모 상태에서 미세 구조 강제항으로의 매핑을 학습하기 위해 신경 연산자를 사용하며, 이는 격자에 의존하지 않고 국소적이지 않은 예측을 가능하게 한다.
• 다중 층을 가진 푸리에 기반 아키텍처로 구현된 신경 연산자이며, Adam 최적화와 지수 감소 학습률 스케줄러를 사용해 학습된다.
• 모델은 지표면의 미세 구조 보정값이 알려진 고해상도 시뮬레이션 데이터셋을 기반으로 학습되며, 시간 모델링에 단 한 번의 시간 스텝 이력만을 사용한다.
• 학습된 parametrization을 대규모 시뮬레이션 내부에 대체 모델로 통합함으로써, 기후 모델의 물리적 parametrization과 유사한 방식으로 작동한다.
• 자동 미분 가능 소거기나 새로운 격자에 대해 재학습이 필요 없으며, 다양한 해상도에서의 빠른 추론이 가능하다.

실험 결과

연구 질문

• RQ1 기계 학습 기반 대체 모델이 다중 척도 PDE에서 미세 구조 스케일 효과를 격자에 의존하지 않고 국소적이지 않은 방식으로 parametrization할 수 있는가?
• RQ2 이러한 모델이 다양한 공간 해상도에서 근사적으로 선형 런타임 복잡도를 유지하면서도 높은 정확도를 유지할 수 있는가?
• RQ3 혼돈스러운 다중 척도 시스템에서 신경 연산자 기반 parametrization은 전통적인 선형 또는 국소적 기계 학습 기반 parametrization과 비교해 어떻게 성능이 뛰어나게 되는가?
• RQ4 물리 기반 학습이 PDE 대체 모델링에서 데이터 요구량을 줄이고 일반화 능력을 향상시키는 데 얼마나 기여하는가?

주요 결과

• MNO 모델은 다중 척도 로렌츠96 시스템에서 기계 학습 기반 parametrization과 기후 기반 평균치보다도 유의미하게 높은 평균 및 표준편차 예측 정확도를 달성한다.
• MNO 모델은 장기간에 걸쳐 실제 동역학을 높은 정밀도로 예측하며, 약 t=0.125 이후에 발산하는 표준 기계 학습 기반 parametrization보다 뛰어난 성능을 보인다.
• MNO 모델은 단일 CPU에서 1시간 50분 만에 학습이 완료되어, 모델 학습에 필요한 데이터와 계산 비용이 매우 낮음을 입증한다.
• 신경 연산자 기반 parametrization은 격자에 의존하지 않고 국소적이지 않아, 재학습 없이도 다양한 공간 해상도에서 일반화가 가능하다.
• MNO 방법은 근사적으로 선형 런타임 복잡도를 달성하여, 기존 소거기가 비현실적인 고해상도 시뮬레이션에 대해 확장 가능한 성능을 제공한다.
• 전통적인 선형 parametrization보다도 더 뛰어난 민감성과 정확도를 보이며, 최소 제곱법 기반의 기존 방법은 비선형 미세 구조 효과를 포착하지 못한다.