[논문 리뷰] U-NO: U-shaped Neural Operators

Md Ashiqur Rahman, Zachary E. Ross외 1명|arXiv (Cornell University)|2022. 04. 23.

Neural Networks and Applications인용 수 32

한 줄 요약

U-NO는 메모리 효율적인 U자형 아키텍처를 도입하여 신경 연산자에서 더 깊은 모델을 가능하게 하고 DarcyFlow 및 Navier–Stokes 벤치마크에서 FNO보다 상당한 정확도 이점을 보이며 3D 시공간 작업을 포함한다.

ABSTRACT

Neural operators generalize classical neural networks to maps between infinite-dimensional spaces, e.g., function spaces. Prior works on neural operators proposed a series of novel methods to learn such maps and demonstrated unprecedented success in learning solution operators of partial differential equations. Due to their close proximity to fully connected architectures, these models mainly suffer from high memory usage and are generally limited to shallow deep learning models. In this paper, we propose U-shaped Neural Operator (U-NO), a U-shaped memory enhanced architecture that allows for deeper neural operators. U-NOs exploit the problem structures in function predictions and demonstrate fast training, data efficiency, and robustness with respect to hyperparameters choices. We study the performance of U-NO on PDE benchmarks, namely, Darcy's flow law and the Navier-Stokes equations. We show that U-NO results in an average of 26% and 44% prediction improvement on Darcy's flow and turbulent Navier-Stokes equations, respectively, over the state of the art. On Navier-Stokes 3D spatiotemporal operator learning task, we show U-NO provides 37% improvement over the state of art methods.

연구 동기 및 목표

• 무한 차원 함수 공간 간의 연산자 학습을 finite-dimensional 벡터가 아닌 방향으로 동기화한다.
• 함수 도메인을 수축하고 확장하여 U자형 인코딩/디코딩으로 메모리 효율적이고 깊은 연산자 아키텍처를 설계한다.
• Darcy flow 및 Navier–Stokes와 같은 PDE 벤치마크에서 최첨단 Fourier Neural Operator (FNO) 대비 실증적 이점을 보여준다.
• 과적합되지 않는 메모리 효율성과 데이터 효율성 이점을 보여주며 과매개변수화된 모델의 학습을 가능하게 한다.

제안 방법

• 입력에서 고차원 특징 공간으로 매핑하기 위해 lifting operator P를 채택한다.
• _encoder와_decoder 사이에 skip 연결이 있는 관 encoder 인 encoder 및 decoder 사이의 비선형 적분 연산자 G_i의 시퀀스(Fourier 도메인에서의 컨볼루션 via R_i in the Fourier domain)를 적용한다.
• 입력 함수 도메인을 점진적으로 수축시키면서 사상(co-domain) 차원을 확장하여 Encode한다.
• 대응하는 인코더 단계에서의 skip 연결과 함께 도메인을 타깃으로 다시 확장하여 Decode하고, co-domain을 축소한다.
• 최종 인코딩 표현을 출력 함수 공간으로 매핑하기 위해 projection operator Q를 사용한다.
• 3D 시공간 작업의 경우 autoregressive(2D+time recurrence)와 직접 3D 시공간(space-time) 변형을 모두 구현한다.

실험 결과

연구 질문

• RQ1 U-형 신경 연산자가 비호환적 없는 메모리 사용 없이 더 깊은 아키텍처를 달성할 수 있는가?
• RQ2 메모리 효율적 U-NO 변형들이 고전 PDE 벤치마크에서 최첨단 신경 연산자보다 예측 정확도를 향상시키는가?
• RQ3 3D 시공간 신경 연산자가 2D+시간 방법보다 U-NO 설계를 사용하여 실행 가능하고 유리한가?
• RQ4 공간 도메인/공간 도메인 축소/확장의 적극적 적용이 성능 및 강건성에 어떤 영향을 미치는가?
• RQ5 U-NO가 하이퍼파라미터 선택에 강건하고 제로샷 초해상도(zero-shot super-resolution)가 가능한가?

주요 결과

메모리(MB)	모델	필요성	# 매개변수	s=421	s=211	s=141	s=85
166	U-NO†	166	8.2	0.57^{±1.4e-2}	0.58^{±0.4e-2}	0.60^{±0.5e-2}	0.73^{±0.1e-2}
214	FNO	214	1.1	0.78^{±4.0e-2}	0.84^{±5.5e-2}	0.84^{±1.1e-2}	0.87^{±3.0e-2}

• U-NO 및 그 변형인 U-NO†는 Darcy Flow 및 Navier–Stokes 벤치마크 전반에서 FNO에 비해 상당한 정확도 이점을 보인다(예: Darcy Flow에서 평균 26%, Navier–Stokes에서 44% 향상).
• U-NO는 더 깊고 매개변수화가 큰 연산자를 가능하게 하면서 학습 메모리를 더 적게 사용한다(예: Darcy Flow에서 FNO보다 23% 덜 메모리를 사용하면서 7.5× 더 많은 매개변수를 사용).
• 3D 시공간 설정에서 U-NO는 FNO 대비 약 37% 향상을 보여주며 3D 연산자에 대해 현저히 낮은 메모리를 보인다.
• U-NO는 제로샷 초해상도를 지원하며 고해상도 데이터에서 단일 GPU로 학습할 수 있다(메모리 효율적인 인코딩/디코딩 설계 덕분).
• 더 공격적인 U-NO 변형(U-NO†)은 더 강한 수축/확장을 통해 메모리 효율성과 성능을 추가로 향상시키면서 하이퍼파라미터에 대한 강건성을 유지한다.
• 2D 및 3D 설정 전반에서 U-NO는 FNO보다 더 큰 매개변수화와 더 깊은 아키텍처를 통해 우수하거나 경쟁력 있는 정확도를 달성할 수 있으며, 깊이가 메모리 증가를 관리 가능한 수준에서 가능하게 한다.