[論文レビュー] CROM: Continuous Reduced-Order Modeling of PDEs Using Implicit Neural Representations

Peter Yichen Chen, Jinxu Xiang+7 more|arXiv (Cornell University)|Jun 6, 2022

Model Reduction and Neural Networks被引用数 11

ひとこと要約

CROMは、偏微分方程式（PDE）の連続的低次元モデル化フレームワークを、暗黙的ニューラル表現を用いて、離散化に依存しない形で直接連続ベクトル場をモデル化することで導入する。多様な数値解にわたる微分可能で連続なニューラルフィールドを学習することで、PODとオートエンコーダー型ROMと比べ、それぞれ79倍および49倍の高い精度を達成し、メモリ使用量は39倍および132倍小さくなる。これにより、動的解像度適合が可能となり、CPU/GPUでそれぞれ109倍/89倍の高速化が実現される。

ABSTRACT

The long runtime of high-fidelity partial differential equation (PDE) solvers makes them unsuitable for time-critical applications. We propose to accelerate PDE solvers using reduced-order modeling (ROM). Whereas prior ROM approaches reduce the dimensionality of discretized vector fields, our continuous reduced-order modeling (CROM) approach builds a low-dimensional embedding of the continuous vector fields themselves, not their discretization. We represent this reduced manifold using continuously differentiable neural fields, which may train on any and all available numerical solutions of the continuous system, even when they are obtained using diverse methods or discretizations. We validate our approach on an extensive range of PDEs with training data from voxel grids, meshes, and point clouds. Compared to prior discretization-dependent ROM methods, such as linear subspace proper orthogonal decomposition (POD) and nonlinear manifold neural-network-based autoencoders, CROM features higher accuracy, lower memory consumption, dynamically adaptive resolutions, and applicability to any discretization. For equal latent space dimension, CROM exhibits 79$ imes$ and 49$ imes$ better accuracy, and 39$ imes$ and 132$ imes$ smaller memory footprint, than POD and autoencoder methods, respectively. Experiments demonstrate 109$ imes$ and 89$ imes$ wall-clock speedups over unreduced models on CPUs and GPUs, respectively. Videos and codes are available on the project page: https://crom-pde.github.io

研究の動機と目的

• PDEの特定の離散化に依存する従来の低次元モデル（ROM）の限界を克服すること。
• 離散的グリッド表現ではなく、連続的ベクトル場そのものに対するモデル還元を可能とすること。
• トレーニングデータで使用された空間解像度、メッシュタイプ、または離散化手法に依存しないROMフレームワークの開発。
• シミュレーション中に動的解像度適合を可能にしつつ、高い精度と低いメモリ使用量を実現すること。
• ボクセルグリッド、メッシュ、ポイントクラウドを含む多様な離散化タイプに対応した、効率的でリアルタイムなPDEシミュレーションの実現。

提案手法

• 空間的位置 $\mathbf{x}$ と潜在ベクトル $\mathbf{q}$ を用いて、連続的微分可能で連続するニューラルフィールド $\mathbf{g}(\mathbf{x}, \mathbf{q})$ を用いて、連続的PDE解の低次元多様体を表現する。
• メッシュ、ポイントクラウド、ボクセルグリッドなど、離散化タイプにかかわらず、PDEの任意の数値解にわたってニューラルフィールド $\mathbf{g}$ を学習する。
• 時間ステップによるPDEの時間発展を記述する潜在空間ダイナミクスフレームワークを採用し、各ステップで $\mathbf{g}$ を用いて全空間のフィールド再構築を実行する。
• 一貫性を保つために、進化した全空間フィールドを潜在空間へ再投影するため、最小二乗最適化によるネットワーク逆問題を実施する。
• 自動微分を活用して、ニューラルフィールドから直接空間的および時間的勾配を計算し、PDEの時間積分を可能にする。
• モデルアーキテクチャを離散化から分離するために、離散係数ではなく、潜在空間から連続的フィールド値への連続的マッピングを学習する。

実験結果

リサーチクエスチョン

• RQ1 メッシュ、ポイントクラウド、ボクセルグリッドなど多様な離散化タイプにわたって、再トレーニングやアーキテクチャ変更なしにROMを学習できるか？
• RQ2 離散近似ではなく、連続的フィールドそのものを直接モデル化することで、より高い精度と低いメモリ使用量が達成できるか？
• RQ3 シミュレーション中にリメッシュやグリッド密度の変更を伴う動的解像度適合が可能か？
• RQ4 複数のPDEにわたって、連続的ROMの精度と安定性は、古典的PODおよびオートエンコーダー型ROMと比べてどの程度優れているか？
• RQ5 この手法は、解の忠実度を保持しつつ、PDEシミュレーションの加速にどの程度寄与できるか？

主な発見

• CROMは、複数のPDEにわたって、潜在空間次元が同一の場合に、プロパー直交分解（POD）ROMと比較して79倍高い精度を達成する。
• 離散化に依存しないアーキテクチャのおかげで、非線形多様体オートエンコーダーROMと比較して、メモリ使用量を132倍削減する。
• CPUとGPUの両方で、フルオーダーモデルと比較して、それぞれ109倍および89倍のウォールクロック時間の高速化を達成し、多様なPDEで一貫した性能を発揮する。
• 大きな時間ステップでも安定性を維持し、フルオーダーモデルが不安定化する状況でも、誤差は1％前後でほぼ一定を保つ。
• 潜在空間の軌道は滑らかで非線形的であり、潜在空間における線形補間によって視覚的に整合性のある遷移が得られる。
• CROMは動的解像度適合をサポートしており、ポイントクラウドや非構造的メッシュを含む、あらゆる離散化タイプに適用可能である。