[論文レビュー] Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For Advection-Dominated Systems

Zhong Wan, Leonardo Zepeda-Núñez+2 more|arXiv (Cornell University)|Jan 25, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、一貫性を促進する正則化を用いて、広義の流れ優勢系における滑らかで低次元の軌道を学習するハイパーネットワークベースの潜在動的モデルを提案する。これにより、大きな時間ステップを用いても、高精度で高効率な複数ステップのロールアウトが可能になる。本手法は、元のPDEの正確な知識を必要とせず、アーキテクチャと正則化によって潜在動的を滑らかに保つことで、ベースライン手法に比べて優れた精度と推論速度を達成する。

ABSTRACT

We present a data-driven, space-time continuous framework to learn surrogate models for complex physical systems described by advection-dominated partial differential equations. Those systems have slow-decaying Kolmogorov n-width that hinders standard methods, including reduced order modeling, from producing high-fidelity simulations at low cost. In this work, we construct hypernetwork-based latent dynamical models directly on the parameter space of a compact representation network. We leverage the expressive power of the network and a specially designed consistency-inducing regularization to obtain latent trajectories that are both low-dimensional and smooth. These properties render our surrogate models highly efficient at inference time. We show the efficacy of our framework by learning models that generate accurate multi-step rollout predictions at much faster inference speed compared to competitors, for several challenging examples.

研究の動機と目的

• 遅く減衰するコルモゴロフn-幅を示す広義の流れ優勢系をモデル化する課題に対処し、従来の低次元モデル（ROM）が高精度と高効率を達成できない理由を解消する。
• 正確なPDEの知識を必要とせず、軌道から直接潜在動的を学習するデータ駆動型の代替モデルを開発する。
• 時間・空間の連続性、因果関係、メッシュに依存しない性質、潜在空間の滑らかさといったインダクティブバイアスを組み込むことで、ニューラルネットワークベースのモデルにおける物理的妥当性を強化する。
• 潜在軌道の滑らかさを正則化することで、長時間予測の安定性と精度を向上させ、推論時に大きな時間ステップを許容する。
• Kuramoto-Sivashinsky方程式やKorteweg-de Vries方程式などのベンチマーク広義の流れ優勢PDEに対して、フレームワークの有効性を示す。

提案手法

• 共有エンコーダ・ハイパーネットワークがデコーダネットワークの重みを計算するハイパーネットワークアーキテクチャを採用し、システム状態のパラメータ化された連続的空間時間表現を可能にする。
• デコーダネットワークは周期的活性化関数（例：sin(πx)）を用いて設計され、空間的周期性を暗黙的に符号化し、振動的動的をよりよく近似する。
• 潜在軌道の滑らかさを強制する一貫性正則化損失を導入し、時間的・空間的摂動が小さな変化にしか与えないように保証する。
• 潜在動的は、低次元潜在空間における正確な進化を実現するための階層的特徴を抽出する多スケールU-Net型アーキテクチャを備えたニューラルODEでモデル化される。
• トレーニングは二段階プロトコルに従う：まずエンコーダとハイパーネットワークを軌道上で事前学習し、次に複数ステップのロールアウト監視により動的モデルを微調整する。
• 推論は潜在空間内で完全に行われ、必要な場合にのみデコードが実行され、大きな時間ステップと高い計算効率を実現する。

Figure 1: (left) Diagram of the latent space evolution, where $u$ represents the state variables, and $\theta$ the latent space variables, which in this case correspond to the weights of a neural network. (right) Sketch of two possible latent space trajectories, we seek to implicitly regularize the

実験結果

リサーチクエスチョン

• RQ1 PDEの事前知識がなくても、データ駆動型で連続時間の潜在動的モデルが、広義の流れ優勢PDEに対して高精度で長時間予測を達成できるか。
• RQ2 一貫性正則化による潜在軌道の滑らかさを強制することで、非正則化モデルと比較して一般化性能と推論効率がどのように向上するか。
• RQ3 周期的活性化関数を用いたハイパーネットワークベースのアーキテクチャが、複雑な振動的物理系の近似をどの程度改善できるか。
• RQ4 潜在空間の滑らかさ制約を組み込んだ段階的トレーニングと比較して、エンコーダと動的モデルをエンドツーエンドでトレーニングすると性能が劣化するか。
• RQ5 FNO、DeepONet、DMDといった最先端手法と比較して、提案手法はベンチマーク広義の流れ優勢系において、精度と速度の両面でどの程度優れているか。

主な発見

• Kuramoto-Sivashinsky方程式およびKorteweg-de Vries方程式において、提案手法はベースライン手法と比較して顕著に低い相対RMSEを達成し、微調整済みモデルでは事前学習モデルと比較して誤差を最大50％まで低減した。
• 複数ステップ学習による微調整により、予測における物理的に不自然な領域（特にKdVおよびKS系）が解消され、視覚的・定量的精度が向上した。
• エンドツーエンドトレーニングではロールアウトの品質と安定性が劣化したことが判明し、長時間動的を扱うには潜在空間の滑らかさ正則化が不可欠であることが示された。
• デコーダに周期的活性化関数（例：sin(πx)）を用いることで、ReLUと比較して平均相対RMSEが最大90％まで低減した。これは周期的物理系においてその重要性を示している。
• 滑らかな潜在軌道のおかげで、推論時に大きな時間ステップを許容でき、競合手法と比較して顕著な計算速度の向上が達成された。
• 空間エネルギースペクトルとサンプルロールアウトの両方から、モデルが複数の予測範囲にわたり豊かな時空間パターンを的確に捉え、FNO、DeepONet、DMDを上回る精度と一般化性能を示した。

Figure 2: The Nonlinear Fourier Ansatz (left) featurizes the input with $\sin/\cos$ functions with specified frequency and trainable phases, and integrates a small MLP to parametrize functions which are periodic in $[0,L]$ . The Hyper U-Net (right) architecture partitions weights according to their