[论文解读] Implicit Neural Spatial Representations for Time-dependent PDEs

Honglin Chen, Rundi Wu+3 more|arXiv (Cornell University)|Sep 30, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出使用隐式神经空间表征（INSR）作为时变PDE的时空离散化方法，替代传统的网格或结构化网格。通过将空间场编码为随时间演化并通过经典时间积分器更新的神经网络权重，该方法在保持更高精度和更低内存占用的同时，实现了内在的自适应性，并在湍流和接触力学等复杂场景中表现出色——尽管每时间步的计算成本更高。

ABSTRACT

Implicit Neural Spatial Representation (INSR) has emerged as an effective representation of spatially-dependent vector fields. This work explores solving time-dependent PDEs with INSR. Classical PDE solvers introduce both temporal and spatial discretizations. Common spatial discretizations include meshes and meshless point clouds, where each degree-of-freedom corresponds to a location in space. While these explicit spatial correspondences are intuitive to model and understand, these representations are not necessarily optimal for accuracy, memory usage, or adaptivity. Keeping the classical temporal discretization unchanged (e.g., explicit/implicit Euler), we explore INSR as an alternative spatial discretization, where spatial information is implicitly stored in the neural network weights. The network weights then evolve over time via time integration. Our approach does not require any training data generated by existing solvers because our approach is the solver itself. We validate our approach on various PDEs with examples involving large elastic deformations, turbulent fluids, and multi-scale phenomena. While slower to compute than traditional representations, our approach exhibits higher accuracy and lower memory consumption. Whereas classical solvers can dynamically adapt their spatial representation only by resorting to complex remeshing algorithms, our INSR approach is intrinsically adaptive. By tapping into the rich literature of classic time integrators, e.g., operator-splitting schemes, our method enables challenging simulations in contact mechanics and turbulent flows where previous neural-physics approaches struggle. Videos and codes are available on the project page: http://www.cs.columbia.edu/cg/INSR-PDE/

研究动机与目标

• 解决经典空间离散化方法（如网格、有限元网格）在时变PDE求解中的局限性，例如数值扩散、高内存占用以及缺乏自然自适应能力。
• 探究隐式神经空间表征（INSR）是否可在无需训练数据的情况下，作为PDE模拟中显式空间表征的有效替代方案。
• 在INSR框架内利用成熟的经典时间积分器（如欧拉法、变分积分器、算子分裂法）来模拟复杂动力学行为。
• 证明基于INSR的PDE求解器在处理不连续性和非线性现象（如接触和湍流）方面优于现有的物理信息神经网络（PINN）方法。
• 通过展示INSR在精度、内存效率和自适应性方面的优势，为混合网格-神经PDE求解器奠定基础，尤其在固定内存约束下表现优异。

提出的方法

• 将时空变化的向量场 $\mathbf{f}^n(\mathbf{x})$ 参数化为神经网络 $\mathbf{f}_{\theta^n}(\mathbf{x})$，其中 $\theta^n$ 为随时间演化的网络权重。
• 使用经典时间积分器（如显式/隐式欧拉法、中点法、变分积分器）推进网络权重 $\theta^n$ 从一个时间步到下一个时间步，以保持时间积分的稳定性。
• 将PDE求解问题表述为损失最小化问题，结合变分积分器的增量势能形式，从而实现对碰撞等不连续现象的稳定模拟。
• 通过损失函数中的软约束方式施加边界条件，未来可扩展为硬边界条件。
• 在INSR与基于FEM的网格方法之间保持一致的碰撞处理方式（弹簧式惩罚力）和时间积分方案，以确保公平比较。
• 在每个时间步使用基于梯度的方法优化神经网络权重，损失函数来源于PDE残差和物理约束。

实验结果

研究问题

• RQ1 当与经典时间积分器结合时，INSR能否作为时变PDE的可行空间离散化方法？
• RQ2 在相同的内存预算下，INSR是否在精度和内存效率方面优于传统的基于网格和无网格表示方法？
• RQ3 INSR能否自然处理复杂物理现象（如湍流和大弹性变形）中的不连续性？
• RQ4 在模拟接触力学等非线性、不连续动力学时，INSR的性能与基于PINN的方法相比如何？
• RQ5 INSR的内在自适应能力有多强？与经典求解器中的动态重网格化相比，其表现如何？

主要发现

• 在相同的内存预算下，INSR在解析精细几何细节和复杂动力学方面优于基于FEM的网格方法，表现出更高的精度。
• 基于INSR的求解器内存消耗低于传统表示方法，因为内存占用与网络规模成正比，而非与空间采样密度相关。
• INSR具有内在自适应性，能自动将表征能力分配给场变化剧烈的区域，而无需改变网络结构或进行重网格化。
• 该方法成功模拟了大弹性变形和湍流，而以往的神经-PDE方法（如PINN）因损失优化不稳定性而失败。
• 在碰撞场景中，INSR在相同分辨率下产生的结果比FEM更平滑、更准确，避免了因网格密度不足导致的伪影。
• 在兔子模型示例中，INSR每时间步耗时约30分钟，而FEM不到1分钟，验证了计算时间与精度/内存效率之间的权衡。