[논문 리뷰] NOMAD: Nonlinear Manifold Decoders for Operator Learning

Jacob H. Seidman, Georgios Kissas외 2명|arXiv (Cornell University)|2022. 06. 07.

Model Reduction and Neural Networks인용 수 29

한 줄 요약

NOMAD는 연산자 학습을 위한 비선형 디코더를 도입하여 함수 공간의 저차원 비선형 다양체를 포착하고, 선형 디코더보다 더 작고 학습 비용이 적은 잠재 차원에서도 동등하거나 더 나은 정확도를 달성합니다.

ABSTRACT

Supervised learning in function spaces is an emerging area of machine learning research with applications to the prediction of complex physical systems such as fluid flows, solid mechanics, and climate modeling. By directly learning maps (operators) between infinite dimensional function spaces, these models are able to learn discretization invariant representations of target functions. A common approach is to represent such target functions as linear combinations of basis elements learned from data. However, there are simple scenarios where, even though the target functions form a low dimensional submanifold, a very large number of basis elements is needed for an accurate linear representation. Here we present NOMAD, a novel operator learning framework with a nonlinear decoder map capable of learning finite dimensional representations of nonlinear submanifolds in function spaces. We show this method is able to accurately learn low dimensional representations of solution manifolds to partial differential equations while outperforming linear models of larger size. Additionally, we compare to state-of-the-art operator learning methods on a complex fluid dynamics benchmark and achieve competitive performance with a significantly smaller model size and training cost.

연구 동기 및 목표

• 타깃 함수가 비선형이고 저차원인 다양체 위에 놓일 때 연산자 학습에서 선형 디코더의 한계를 동기화하고 해결합니다.
• 함수 공간에서 비선형 임베딩을 학습하기 위한 완전한 비선형 디코더(NOMAD)를 제안합니다.
• NOMAD가 PDE 관련 벤치마크 전반에서 훨씬 작은 잠재 차원과 학습 비용으로 최첨단 정확도를 달성할 수 있음을 입증합니다.

제안 방법

• 연산자 학습을 세 가지 맵 구조 F = D ∘ A ∘ E를 통해 입력 함수에서 출력 함수로 가는 맵 G를 학습하는 프레임으로 구성합니다.
• 입력 함수를 유한 차원 특징으로 매핑하는 인코더 E, 이 특징에 작용하는 근사기 A, 출력 함수로 매핑하는 비선형 디코더 D를 사용합니다.
• 선형 디코더를 비선형 디코더 D(β, y) = f(β, y)로 대체합니다. 이때 β ∈ R^n은 잠재 좌표이고 y ∈ Y는 질의 포인트로, 출력 다양체의 비선형 임베딩을 가능하게 합니다.
• 출력 다양체 G(U)가 n차원 비선형 다양체로 잘 근사된다는 연산자 학습 다양체 가설에 근거합니다.
• 선형 디코더가 고유값 감소 및 Kolmogorov n-너비와 연관된 하한을 갖는 반면, NOMAD는 비선형 디코딩으로 이를 극복할 수 있음을 이론적으로 제시합니다.

실험 결과

연구 질문

• RQ1 비선형 디코더가 함수 공간의 비선형 해 공간의 저차원 표현을 선형 디코더보다 더 효율적으로 학습할 수 있는가?
• RQ2 NOMAD가 잠재 차원 수, 파라미터 수, 학습 비용을 줄이면서 연산자 학습 태스크에서 예측 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 비선형 디코더를 대체했을 때 NOMAD의 벤치마크 PDE/연산자 학습 태스크(적분, 대류, 얕은 물 웅덩이)에서 선형 디코더 및 최첨단 방법과 비교하여 어떤 성능을 보이는가?
• RQ4 연산자 학습 구조에서 선형 디코더를 비선형 디코더로 바꿀 때의 트레이드오프와 한계는 무엇인가?

주요 결과

방법	rho	v1	v2	최악의 경우	d_theta	n	비용
LOCA	0.040±0.015	2.7±0.3	2.9±0.4	(0.1,3.5,4.2)	O(10^6)	480	12.1
DON	0.100±0.030	5.5±1.2	5.9±1.4	(0.6,11,11)	O(10^6)	480	15.4
FNO	0.140±0.060	3.4±1.2	3.5±1.2	(0.4,8.9,8.7)	O(10^6)	N/A	14.0
NOMAD	0.048±0.017	2.0±0.4	2.6±0.3	(0.1,5.8,4.9)	O(10^5)	20	5.5

• NOMAD는 적분 예제에서 선형 디코더를 크게 능가하며, 약 한 차원 정도의 잠재 차원으로도 1차 원인 오차에 비해 대략 한 자릿수의 차이를 달성하고 10% 상대 오차도 달성합니다.
• 매개변수화된 대류 PDE에서 NOMAD은 선형 디코더가 작은 잠재 차원에서 어려움을 겪는 저차원 비선형 해 공간을 빠르게 포착합니다.
• 얕은 물 벤치마크에서 NOMAD는 상태의 최첨단 방법과 맞먹거나 근접하게 성능을 보이면서도 학습 가능한 매개변수 수가 현저히 적고, 잠재 차원이 작으며 학습 시간도 짧습니다.
• 벤치마크 전반에 걸쳐 NOMAD는 LOCA, DON 및 FNO 구성에 비해 모델 크기와 학습 비용을 대폭 줄이면서도 경쟁력 있는 정확도를 제공합니다.
• NOMAD로 비선형 좌표를 학습하면 출력 함수 공간의 비선형 다양체를 효율적으로 표현할 수 있음을 보여줍니다.