[论文解读] CROM: Continuous Reduced-Order Modeling of PDEs Using Implicit Neural Representations

Peter Yichen Chen, Jinxu Xiang+7 more|arXiv (Cornell University)|Jun 6, 2022

Model Reduction and Neural Networks被引用 11

一句话总结

CROM 引入了一种基于隐式神经表示的连续降阶建模框架，用于偏微分方程（PDEs），可直接建模连续向量场，避免依赖离散化。通过在多种数值解上训练可微分的神经场，CROM 在相同潜空间维度下，相比 POD 和自编码器 ROM 分别实现了 79× 和 49× 的更高精度，同时内存占用分别减少 39× 和 132×，支持动态分辨率自适应，并在 CPU/GPU 上分别实现 109× 和 89× 的加速。

ABSTRACT

The long runtime of high-fidelity partial differential equation (PDE) solvers makes them unsuitable for time-critical applications. We propose to accelerate PDE solvers using reduced-order modeling (ROM). Whereas prior ROM approaches reduce the dimensionality of discretized vector fields, our continuous reduced-order modeling (CROM) approach builds a low-dimensional embedding of the continuous vector fields themselves, not their discretization. We represent this reduced manifold using continuously differentiable neural fields, which may train on any and all available numerical solutions of the continuous system, even when they are obtained using diverse methods or discretizations. We validate our approach on an extensive range of PDEs with training data from voxel grids, meshes, and point clouds. Compared to prior discretization-dependent ROM methods, such as linear subspace proper orthogonal decomposition (POD) and nonlinear manifold neural-network-based autoencoders, CROM features higher accuracy, lower memory consumption, dynamically adaptive resolutions, and applicability to any discretization. For equal latent space dimension, CROM exhibits 79$ imes$ and 49$ imes$ better accuracy, and 39$ imes$ and 132$ imes$ smaller memory footprint, than POD and autoencoder methods, respectively. Experiments demonstrate 109$ imes$ and 89$ imes$ wall-clock speedups over unreduced models on CPUs and GPUs, respectively. Videos and codes are available on the project page: https://crom-pde.github.io

研究动机与目标

• 解决传统降阶模型（ROMs）对 PDE 离散化方式依赖的局限性。
• 实现对连续向量场而非其离散的网格表示的模型降阶。
• 开发一种对空间分辨率、网格类型或训练数据中使用的离散化方法不变的 ROM 框架。
• 在支持模拟过程中动态分辨率自适应的同时，实现高精度和低内存使用。
• 在包括体素网格、网格和点云在内的多种离散化类型中，实现高效、实时的 PDE 模拟。

提出的方法

• 使用连续可微分的神经场 $\mathbf{g}(\mathbf{x}, \mathbf{q})$ 表示连续 PDE 解的降阶流形，其中 $\mathbf{q}$ 为潜向量，$\mathbf{x}$ 为空间位置。
• 在任意类型的 PDE 数值解上训练神经场 $\mathbf{g}$，无论其离散化方式如何（如网格、点云、体素网格）。
• 采用潜空间动力学框架，通过时间步进演化 $\mathbf{q}(t)$，并在每一步通过 $\mathbf{g}$ 重建全空间场。
• 通过最小二乘优化执行网络反演，将演化后的全空间场投影回潜空间，确保一致性。
• 利用自动微分直接从神经场计算场的空间和时间梯度，从而支持 PDE 时间积分。
• 通过学习从潜空间到连续场值的连续映射，而非离散系数，实现模型架构与离散化的解耦。

实验结果

研究问题

• RQ1 是否可以在不重新训练或修改架构的前提下，对多种离散化类型（如网格、点云、体素网格）的 PDE 解进行降阶模型训练？
• RQ2 直接建模连续场而非其离散近似，是否能带来更高的精度和更低的内存使用？
• RQ3 模型是否能够在模拟过程中支持动态自适应的空间分辨率，如重新划分网格或改变网格密度？
• RQ4 与经典的 POD 和基于自编码器的 ROM 相比，该连续 ROM 在多种 PDE 上的精度和稳定性如何？
• RQ5 该方法在多大程度上能够加速 PDE 模拟，同时保持解的保真度？

主要发现

• 在多个 PDE 上，CROM 在相同潜空间维度下相比本征正交分解（POD）ROM 实现了 79× 的更高精度。
• 由于离散化无关的架构，CROM 相比非线性流形自编码器 ROM 将内存占用减少了 132×。
• CROM 在 CPU 和 GPU 上分别相比全阶模型实现了 109× 和 89× 的实际运行时间加速，且在多种 PDE 上表现一致。
• 该方法在大时间步长下仍保持稳定，即使全阶模型已不稳定，误差仍维持在约 1%。
• 潜空间轨迹表现出平滑的非线性演化，潜空间中的线性插值可产生视觉连贯的过渡。
• CROM 支持动态分辨率自适应，适用于任何离散化类型，包括点云和非结构化网格。