[논문 리뷰] How important are specialized transforms in Neural Operators?

Ritam Majumdar, Shirish Karande외 1명|arXiv (Cornell University)|2023. 08. 18.

Model Reduction and Neural NetworksPhysics and Astronomy인용 수 3

한 줄 요약

이 논문은 신경 연산자 내의 전문화된 변환(예: 푸리에 및 웨이블릿 변환)을 학습 가능한 선형 레이어로 대체함으로써, Navier-Stokes 및 콜모고로프 흐름과 같은 PDE 문제에서 최신 기술인 FNO 및 WNO 모델과 동등한 성능을 달성함을 입증한다. 이는 실수 값 매개변수화와 더 적은 매개변수로 인해 학습 시간과 매개변수 수를 감소시킨다.

ABSTRACT

Simulating physical systems using Partial Differential Equations (PDEs) has become an indispensible part of modern industrial process optimization. Traditionally, numerical solvers have been used to solve the associated PDEs, however recently Transform-based Neural Operators such as the Fourier Neural Operator and Wavelet Neural Operator have received a lot of attention for their potential to provide fast solutions for systems of PDEs. In this work, we investigate the importance of the transform layers to the reported success of transform based neural operators. In particular, we record the cost in terms of performance, if all the transform layers are replaced by learnable linear layers. Surprisingly, we observe that linear layers suffice to provide performance comparable to the best-known transform-based layers and seem to do so with a compute time advantage as well. We believe that this observation can have significant implications for future work on Neural Operators, and might point to other sources of efficiencies for these architectures.

연구 동기 및 목표

• 특수화된 변환(예: 푸리에, 웨이블릿)이 변환 기반 신경 연산자 성공에 필수적인지 여부를 조사하기 위해.
• 신경 연산자 아키텍처에서 고정된 변환을 학습 가능한 선형 레이어로 대체했을 때의 성능 및 계산 효율성을 평가하기 위해.
• 네트워크가 문제에 맞는 최적의 변환을 적응적으로 학습함으로써 문제 특화된 변환 설계에 대한 인간의 노력 감소를 위해.
• 복잡한 동역학과 비정규 영역을 포함한 다양한 PDE에 대한 일반화 능력을 평가하기 위해.

제안 방법

• FNO 및 WNO의 모든 변환 레이어를 실수 영역에서 작동하는 매개변수화된 학습 가능한 선형 레이어로 대체하기.
• Navier-Stokes, Darcy 흐름, 콜모고로프 흐름을 포함한 PDE 해의 데이터셋을 사용하여 표준 최적화 기법으로 결과 모델을 학습하기.
• 초해상도 작업을 위해 삼선형 보간을 사용하여 예측치를 업샘플링하고 고해상도로의 일반화 평가하기.
• 여러 PDE 벤치마크에서 L2 오차와 학습 시간을 사용하여 모델 성능 비교하기.
• FNO/WNO와 학습 가능한 선형 변환의 각 레이어 블록(M, R, N)에서의 매개변수 수를 분해하여 매개변수 수와 학습 효율성 분석하기.
• 기존 변환이 실패하는 경우가 많은 저점성 Navier-Stokes 및 비정규 영역 Darcy 흐름과 같은 도전적인 케이스에서의 일반화 평가하기.

실험 결과

연구 질문

• RQ1 학습 가능한 선형 레이어가 PDE 문제에서 성능을 저하시키지 않고 푸리에 및 웨이블릿 변환과 같은 전문화된 변환을 대체할 수 있는가?
• RQ2 고정된 변환을 학습 가능한 선형 레이어로 대체함으로써 학습 시간과 매개변수 수가 감소하면서 일반화 능력은 유지되거나 향상되는가?
• RQ3 저점성 Navier-Stokes 및 콜모고로프 흐름과 같은 복잡한 PDE에서 학습 가능한 선형 변환은 FNO 및 WNO 대비 어떻게 성능을 내는가?
• RQ4 기존 변환이 어려움을 겪는 초해상도 설정과 비정규 영역 문제에서 학습된 변환은 일반화 가능한가?
• RQ5 사전 정의된 변환 대비 학습 가능한 선형 변환을 사용할 경우 성능, 매개변수 효율성, 계산 비용 간의 상충 관계는 어떠한가?

주요 결과

• 학습 가능한 선형 변환은 ν=1e−4인 2D Navier-Stokes에서 FNO 및 WNO와 동등한 성능을 달성하며, 오차는 각각 0.15와 0.22이며, 콜모고로프 흐름에서는 FNO에 0.1점 이내로 근접한다.
• 학습 가능한 변환을 사용한 모델은 1D-Burgers, Advection, 2D-Darcy, 3D-Navier-Stokes를 포함한 테스트된 모든 PDE에서 WNO를 초월하고 FNO와 동등한 성능을 보였다.
• 학습 가능한 선형 변환의 경우 에포크당 학습 시간이 현저히 빠르며(예: 2D-Navier-Stokes에서 FNO 대비 67.41초 대비 130초), 매개변수 수가 적기 때문이다.
• 학습 가능한 선형 변환의 경우 매개변수 수가 FNO/WNO 대비 최대 절반으로 감소하였으며, 이는 텐서 곱셈 레이어에서 복소수 영역 매개변수화를 피하기 때문이다.
• 초해상도 작업에서 모델은 64×64에서 256×256로 업스케일링할 때 FNO와 유사한 오차 수준을 유지하며 잘 일반화되었다.
• 학습 가능한 변환은 기존 푸리에 기반 방법이 실패하는 웨이브-어드벡션 및 비정규 영역 Darcy 흐름과 같은 도전적인 문제에서도 일반화 성능을 보였다.