[論文レビュー] NOMAD: Nonlinear Manifold Decoders for Operator Learning

Jacob H. Seidman, Georgios Kissas+2 more|arXiv (Cornell University)|Jun 7, 2022

Model Reduction and Neural Networks被引用数 29

ひとこと要約

NOMADは、関数空間の低次元非線形多様体を捉えるための operator learning の非線形デコーダを導入し、線形デコーダより小さな潜在次元と訓練コストで同等またはより高い精度を達成します。

ABSTRACT

Supervised learning in function spaces is an emerging area of machine learning research with applications to the prediction of complex physical systems such as fluid flows, solid mechanics, and climate modeling. By directly learning maps (operators) between infinite dimensional function spaces, these models are able to learn discretization invariant representations of target functions. A common approach is to represent such target functions as linear combinations of basis elements learned from data. However, there are simple scenarios where, even though the target functions form a low dimensional submanifold, a very large number of basis elements is needed for an accurate linear representation. Here we present NOMAD, a novel operator learning framework with a nonlinear decoder map capable of learning finite dimensional representations of nonlinear submanifolds in function spaces. We show this method is able to accurately learn low dimensional representations of solution manifolds to partial differential equations while outperforming linear models of larger size. Additionally, we compare to state-of-the-art operator learning methods on a complex fluid dynamics benchmark and achieve competitive performance with a significantly smaller model size and training cost.

研究の動機と目的

• 線形デコーダが、ターゲット関数が非線形で低次元の多様体上にある場合の operator learning の限界を動機づけ、対処する。
• 関数空間で非線形埋め込みを学習する完全な非線形デコーダ（NOMAD）を提案する。
• NOMADがPDE関連ベンチマーク全体で、潜在次元と訓練コストを大幅に削減しつつ最先端の精度を達成できることを示す。

提案手法

• 入力関数から出力関数への写像 G を三段写像アーキテクチャ F = D ∘ A ∘ E によって学習するという operator learning の枠組みを示す。
• 入力関数を有限次元特徴へ写像する encoder E、これらの特徴に作用する近似器 A、出力関数へ写像する非線形デコーダ D を用いる。
• 線形デコーダを、非線形デコーダ D(β, y) = f(β, y) に置換し、β ∈ R^n が潜在座標、y ∈ Y がクエリ点であることで出力多様体の非線形埋め込みを可能とする。
• 出力多様体 G(U) が n 次元の非線形多様体で良く近似されるという Operator Learning Manifold Hypothesis に基づく。
• 線形デコーダが固有値の減衰や Kolmogorov n-Width に結びつく下限を引き起こすことを理論的に動機づけ、NOMAD が非線形デコードでそれを克服できることを示す。

実験結果

リサーチクエスチョン

• RQ1 非線形デコーダは、関数空間の非線形解法多様体の低次元表現を、線形デコーダよりも効率的に学習できるか。
• RQ2 NOMAD は潜在次元数、パラメータ数、訓練コストを削減しつつ、演算子学習タスクで予測精度を維持または向上できるか。
• RQ3 NOMAD は、アンティデリバティブ、アドベクション、浅水のベンチマーク PDE/演算子学習タスクで、線形デコーダおよび最先端手法と比較してどのように性能を發揮するか。
• RQ4 線形デコーダを非線形デコーダに置換する際のトレードオフと制約は何か。

主な発見

Method	rho	v1	v2	worst case	d_theta	n	cost
LOCA	0.040±0.015	2.7±0.3	2.9±0.4	(0.1,3.5,4.2)	O(10^6)	480	12.1
DON	0.100±0.030	5.5±1.2	5.9±1.4	(0.6,11,11)	O(10^6)	480	15.4
FNO	0.140±0.060	3.4±1.2	3.5±1.2	(0.4,8.9,8.7)	O(10^6)	N/A	14.0
NOMAD	0.048±0.017	2.0±0.4	2.6±0.3	(0.1,5.8,4.9)	O(10^5)	20	5.5

• NOMAD はアンティデリバティブの例で線形デコーダを一貫して上回り、約1桁の誤差改善と、潜在次元が1つでも相対誤差が10%に達することを実現。
• パラメトリックな帳序 PDE では、NOMAD は線形デコーダが小さな潜在次元で苦戦する低次元非線形解法多様体を急速に捕捉。
• 浅水ベンチマークでは、NOMAD は最先端手法と同等か接近した精度を達成しつつ、学習可能パラメータ数、潜在次元、訓練時間を著しく削減。
• ベンチマーク全体で、LOCA、DON、FNO 構成と比較して、モデルサイズと訓練コストを大幅に削減しつつ競争力のある精度を提供。
• NOMAD で非線形座標を学習することにより、出力関数空間の非線形多様体を効率的に表現できることを示す。