[논문 리뷰] Multiwavelet-based Operator Learning for Differential Equations

Gaurav Gupta, Xiongye Xiao외 1명|arXiv (Cornell University)|2021. 09. 28.

Image and Signal Denoising Methods참고 문헌 61인용 수 67

한 줄 요약

고정 다중웨이블릿 기저에 PDE 연산자의 커널을 압축하는 다중웨이블릿 기반 신경 연산자를 도입하여, KdV, Burgers, Darcy 흐름, Navier–Stokes 방정식에서 높은 정확도와 해상도 독립성을 달성한다.

ABSTRACT

The solution of a partial differential equation can be obtained by computing the inverse operator map between the input and the solution space. Towards this end, we introduce a extit{multiwavelet-based neural operator learning scheme} that compresses the associated operator's kernel using fine-grained wavelets. By explicitly embedding the inverse multiwavelet filters, we learn the projection of the kernel onto fixed multiwavelet polynomial bases. The projected kernel is trained at multiple scales derived from using repeated computation of multiwavelet transform. This allows learning the complex dependencies at various scales and results in a resolution-independent scheme. Compare to the prior works, we exploit the fundamental properties of the operator's kernel which enable numerically efficient representation. We perform experiments on the Korteweg-de Vries (KdV) equation, Burgers' equation, Darcy Flow, and Navier-Stokes equation. Compared with the existing neural operator approaches, our model shows significantly higher accuracy and achieves state-of-the-art in a range of datasets. For the time-varying equations, the proposed method exhibits a ($2X-10X$) improvement ($0.0018$ ($0.0033$) relative $L2$ error for Burgers' (KdV) equation). By learning the mappings between function spaces, the proposed method has the ability to find the solution of a high-resolution input after learning from lower-resolution data.

연구 동기 및 목표

• 커널 특성을 활용하여 PDE 연산자의 데이터 효율적 학습을 촉진한다.
• 연산자 커널을 희소화하고 고정 기저에 투영하기 위한 다중웨이블릿 기반 표현을 개발한다.
• 다중웨이블릿 변환을 활용하여 확장 가능하고 해상도에 독립적인 신경 연산자 아키텍처를 만든다.
• 1D 및 2D PDE 전반과 다양한 입력 해상도에 걸친 강건성과 일반화를 시연한다.

제안 방법

• 임의의 기저를 다루기 위해 비균일 측정치를 갖는 다중웨이블릿 변환으로 커널을 모델링한다.
• 척도 해제를 통해 규모를 분리하고 모델 복잡성을 줄이기 위해 비표준 다중웨이블릿 표현을 사용한다.
• Decomposition (dec) 및 Reconstruction (rec) 모듈이 있는 두 부분으로 구성된 MWT 아키텍처를 구현한다.
• 다중 스케일에 걸친 비표준 커널 항을 근사하기 위해 네 개의 신경망 A, B, C, 그리고 T (barT)를 학습시킨다.
• 스케일 간 순방향/역방향 변환을 수행하기 위해 고정 다중웨이블릿 필터 H와 G를 활용한다.
• 다른 입력 크기에서 학습된 커널을 재사용하여 해상도 독립성을 시연한다.

실험 결과

연구 질문

• RQ1 다중웨이블릿 기반 커널 표현이 PDE를 위한 데이터 효율적이고 압축 친화적인 연산자 학습을 제공할 수 있는가?
• RQ2 고정된 다중웨이블릿 필터가 해상도 전반에 일반화되는 규모별 학습을 가능하게 하는가?
• RQ3 표준 PDE 벤치마크에서 MWT 모델의 성능은 최신 신경 연산자와 어떻게 비교되는가?
• RQ4 입력 변동에 대한 강건성과 고차원 문제에의 적용 가능성은 어떠한가?
• RQ5 저해상도에서의 학습이 고해상도 출력으로 일반화될 수 있는가?

주요 결과

• MWT Leg와 MWT Chb는 KdV, Burgers, Darcy, Navier–Stokes 벤치마크에서 가장 낮은 상대 L2 오차를 달성하며 FNO, MGNO, LNO, GNO를 능가한다.
• 시간 의존 방정식의 경우 상대 L2 오차에서 2X–10X 개선을 보인다(예: Burgers와 KdV에서 0.0018 대 0.0033).
• 모델은 입력 변동 강도에 대해 강건하고 더 낮은 해상도 학습 데이터로도 작동하며 더 높은 해상도로 일반화한다.
• 고정 다중웨이블릿 필터를 사용하는 것이 중요하며 무작위 필터는 성능을 크게 저하시킨다(MWT Rnd는 성능이 낮다).
• 이 접근법은 의사미분 연산자의 이론적 특성을 검증하고 다중웨이블릿 도메인에서 커널 희소성을 활용한다.
• 이 방법은 2D Darcy 흐름으로 확장되며 조잡한 해상도에서 학습하고 미세 규모 출력 예측 가능성을 보이며 재학습 없이 고해상도 예측의 가능성을 보여준다.