[論文レビュー] Learning in latent spaces improves the predictive accuracy of deep neural operators

Katiana Kontolati, Somdatta Goswami+2 more|arXiv (Cornell University)|Apr 15, 2023

Model Reduction and Neural Networks被引用数 13

ひとこと要約

この論文は Latent 空間表現を学習したニューラル演算子を用いて L-DeepONet を提案し、オートエンコーダーで得られた潜在表現を用いた訓練を行うことで、vanilla DeepONet および FNO と比較して高次元の時変 PDE の精度を向上させ、学習コストを削減する。

ABSTRACT

Operator regression provides a powerful means of constructing discretization-invariant emulators for partial-differential equations (PDEs) describing physical systems. Neural operators specifically employ deep neural networks to approximate mappings between infinite-dimensional Banach spaces. As data-driven models, neural operators require the generation of labeled observations, which in cases of complex high-fidelity models result in high-dimensional datasets containing redundant and noisy features, which can hinder gradient-based optimization. Mapping these high-dimensional datasets to a low-dimensional latent space of salient features can make it easier to work with the data and also enhance learning. In this work, we investigate the latent deep operator network (L-DeepONet), an extension of standard DeepONet, which leverages latent representations of high-dimensional PDE input and output functions identified with suitable autoencoders. We illustrate that L-DeepONet outperforms the standard approach in terms of both accuracy and computational efficiency across diverse time-dependent PDEs, e.g., modeling the growth of fracture in brittle materials, convective fluid flows, and large-scale atmospheric flows exhibiting multiscale dynamical features.

研究の動機と目的

• 高次元 PDE データを扱う際のニューラル演算子の予測精度と効率の改善を動機付ける。
• オートエンコーダーを用いて salient features を特定する潜在空間拡張としての DeepONet (L-DeepONet) を開発する。
• さまざまな時変 PDE（亀裂成長、対流、大気流れ）における精度と計算上の利点を実証する。
• 標準の DeepONet および Fourier Neural Operator (FNO) バリアントと L-DeepONet を比較する。
• 潜在空間オペレータ学習の限界と実用的考慮事項を強調する。

提案手法

• 二段階フレームワーク: 高次元の入力/出力 PDE データの潜在表現を得るためにオートエンコーダーを訓練し、その後潜在空間の出力に対して DeepONet を訓練する。
• 事前訓練済みエンコーダー J_encoder を用いてデータを潜在空間へ写し、デコーダー J_decoder を用いて予測を元の空間へ戻して評価する。
• 潜在オペレータ G_theta を rédu 論に基づき x^r を y^r に写像するように定式化し、再構成精度とオペレータ予測誤差の指標で訓練を導く。
• 小さな潜在次元（d <= 100）でも高性能を達成できることを実証する。
• 複数の PDE アプリケーションを対象に、vanilla DeepONet および FNO（FNO-2D および FNO-3D を含む）と実践的な比較を行う。

実験結果

リサーチクエスチョン

• RQ1 潜在表現上でニューラル演算子を訓練することは、全次元訓練と比較して予測精度を改善するか。
• RQ2 潜在次元が L-DeepONet の精度と訓練コストに与える影響は何か。
• RQ3 L-DeepONet は脆性破壊、Rayleigh-Bénard 対流、浅水方程式で DeepONet および FNO とどのように比較されるか。
• RQ4 潜在空間オペレータ学習の実用的な制約は何で、いつパフォーマンスが低下する可能性があるか。
• RQ5 潜在空間アプローチは大規模で複雑な PDE（大気流のような）にスケール可能か。

主な発見

Application	L-DeepONet	Full DeepONet	FNO-3D
Brittle material fracture	1,660	15,031	128,000
Rayleigh-Bénard fluid flow	2,853	6,772	1,126,400
Shallow water equation	15,218	379,022	–

• L-DeepONet は tested PDEs において精度と訓練効率の点で標準の DeepONet を上回る。
• 小さな潜在次元（例: d = 25）でも高性能を示し、基準を超えると d に対する感度はほとんどない。
• L-DeepONet は破壊と対流の問題で FNO バリアントと同等以上の結果を得ており、Rayleigh-Bénard 対流では FNO-3D を大きく上回る。
• L-DeepONet の訓練コストは全体の DeepONet の1–2オーダー量少なくなる。
• 脆性破壊では L-DeepONet が地上真値に近い温度/予測場を示す一方、全モデルは逸脱を示す。
• 浅水方程式では L-DeepONet は精度を維持する一方、全 DeepONet は高次元の速度場で苦労する。