[論文レビュー] Solving High-Dimensional PDEs with Latent Spectral Models

Haixu Wu, Tengge Hu+3 more|arXiv (Cornell University)|Jan 30, 2023

Model Reduction and Neural Networks被引用数 13

ひとこと要約

LSMは潜在空間を用いた注意機構付き射影フレームワークとニューラルスペクトルブロックを導入し、高次元PDEをより効率的かつ高精度に解く。7つのベンチマーク全体で最先端の成果を達成します。

ABSTRACT

Deep models have achieved impressive progress in solving partial differential equations (PDEs). A burgeoning paradigm is learning neural operators to approximate the input-output mappings of PDEs. While previous deep models have explored the multiscale architectures and various operator designs, they are limited to learning the operators as a whole in the coordinate space. In real physical science problems, PDEs are complex coupled equations with numerical solvers relying on discretization into high-dimensional coordinate space, which cannot be precisely approximated by a single operator nor efficiently learned due to the curse of dimensionality. We present Latent Spectral Models (LSM) toward an efficient and precise solver for high-dimensional PDEs. Going beyond the coordinate space, LSM enables an attention-based hierarchical projection network to reduce the high-dimensional data into a compact latent space in linear time. Inspired by classical spectral methods in numerical analysis, we design a neural spectral block to solve PDEs in the latent space that approximates complex input-output mappings via learning multiple basis operators, enjoying nice theoretical guarantees for convergence and approximation. Experimentally, LSM achieves consistent state-of-the-art and yields a relative gain of 11.5% averaged on seven benchmarks covering both solid and fluid physics. Code is available at https://github.com/thuml/Latent-Spectral-Models.

研究の動機と目的

• 座標空間の演算子を超えて、高次元PDEを効率的に解くことを動機づける。
• 冗長性を排除し、線形時間で処理を可能にする潜在空間射影アプローチを提案。
• 複雑な写像を複数の基底演算子に分解するニューラルスペクトルブロックを導入し、収束保証を付与。
• 固体・流体PDEベンチマーク全体で最先端の性能を示し、転移性を示す。

提案手法

• 高次元入力をコンパクトな潜在空間へ写像する、注意ベースの潜在トークンを用いた階層型射影ネットワーク（CoordToLatent）。
• 潜在空間演算子を複数の基底演算子（正弦/余弦基底）に分解し、学習可能な重みで結合するニューラルスペクトルブロック（Solve）。
• 潜在から座標への射影（LatentToCoord）で潜在出力を元の座標空間へ戻す。
• 空間的異質性に対応し、座標に対して線形時間で計算できるパッチ化マルチスケールアーキテクチャ。
• 理論的保証：高次元での三角関数近似の収束結果と、リプシッツ条件下でのニューラルスペクトルブロック近似。

実験結果

リサーチクエスチョン

• RQ1 PDEに支配されるタスクを、高次元の座標空間ではなく、コンパクトな潜在空間で効果的に解決できるか。
• RQ2 複数の基底演算子を束ねるニューラルスペクトルブロックは、複雑なPDE写像に対して信頼できる近似と収束保証を提供するか。
• RQ3 幾何形状や離散化が異なる多様なPDEベンチマークに対して、階層型の注意ベース射影ネットワークはどのように性能を発揮するか。
• RQ4 固体・流体物理学における最先端の演算子学習型PDE解法と比較して、精度と効率の実証的利得は何か。

主な発見

モデル	Elasticity-P	Elasticity-G	塑性	Navier–Stokes	Darcy	翼型	パイプ
LSM	0.0218	0.0408	0.0025	0.1535	0.0065	0.0059	0.0050

• LSMは固体および流体PDEを網羅する7つのベンチマークで最先端の性能を達成。
• 平均して、LSMはベンチマーク全体で前例の最良モデルと比較して誤差を11.5%低減。
• アブレーション研究は、潜在プロジェクション、マルチスケール設計、パッチ化、ニューラルスペクトルブロックの各要素が性能に寄与し、潜在空間プロジェクションが特に不可欠であることを示す。
• ニューラルスペクトルブロックは複数の基底演算子を集約することで近似性能を向上させ、異種な入力-出力写像を伴うタスク（Elasticity-G, Darcy など）で顕著な向上をもたらす。