[论文解读] Discretization-independent surrogate modeling over complex geometries using hypernetworks and implicit representations

James Duvall, Karthik Duraisamy+1 more|arXiv (Cornell University)|Sep 14, 2021

Advanced Multi-Objective Optimization Algorithms被引用 8

一句话总结

本文提出了一种基于超网络与隐式表示的、与离散化无关的代理模型，用于复杂几何上的PDE解。通过使用最小距离函数编码几何，并将设计变量作为超网络的输入，该方法实现了在任意网格上的连续、逐点预测——在设计变量超网络（DV-Hnet）下实现了最先进的精度，尤其在气动流场预测中，相对误差为3–10%。

ABSTRACT

Numerical solutions of partial differential equations (PDEs) require expensive simulations, limiting their application in design optimization, model-based control, and large-scale inverse problems. Surrogate modeling techniques seek to decrease the computational expense while retaining dominant solution features and behavior. Traditional Convolutional Neural Network-based frameworks for surrogate modeling require lossy pixelization and data-preprocessing, and generally are not effective in realistic engineering applications. We propose alternative deep-learning based surrogate models for discretization-independent, continuous representations of PDE solutions, which can be used for learning and prediction over domains with complex, variable geometry and mesh topology. Three methods are proposed and compared; design-variable-coded multi-layer perceptron (DV-MLP), design-variable hypernetworks (DV-Hnet), and non-linear independent dual system (NIDS). Each method utilizes a main network which consumes pointwise spatial information to provide a continuous representation, allowing predictions at any location in the domain. Input features include a minimum-distance function evaluation to implicitly encode the problem geometry. The geometric design variables, which define and distinguish problem instances, are used differently by each method, appearing as additional main-network input features (DV-MLP), or as hypernetwork inputs (DV-Hnet and NIDS). The methods are applied to predict solutions around complex, parametrically-defined geometries on non-parametrically-defined meshes with model predictions obtained many orders of magnitude faster than the full order models. Test cases include a vehicle-aerodynamics problem with complex geometry and limited training data, with a design-variable hypernetwork performing best, with a competitive time-to-best-model despite a much greater parameter count.

研究动机与目标

• 解决工程设计与优化中高保真PDE模拟的计算瓶颈。
• 克服传统基于CNN的代理模型对固定网格的依赖以及网格相关预处理的局限性。
• 实现在具有可变几何和任意网格拓扑的域上PDE解场的精确、连续预测。
• 开发一种将模型大小与内存与解场自由度解耦的框架，支持可扩展、可泛化的推理。
• 在车辆气动等复杂真实应用场景中展示优越性能，即使训练数据有限。

提出的方法

• 在每个空间点上计算最小距离函数（MDF）以隐式编码复杂几何，避免显式依赖网格。
• 训练主神经网络，以空间坐标和MDF值作为输入特征，预测PDE解。
• 提出三种架构：DV-MLP（设计变量作为直接输入）、DV-Hnet（设计变量作为超网络输入，生成主网络权重）、NIDS（超网络仅生成输出层权重）。
• 利用超网络基于设计变量条件性生成模型参数，实现对几何变化的泛化能力。
• 端到端训练模型，以全离散化模型（FOM）解作为标签，无需显式参考底层PDE算子。
• 采用混合精度训练以缓解超网络中的训练不稳定性，同时保持快速收敛。

实验结果

研究问题

• RQ1 基于超网络的代理模型是否能在无网格依赖的情况下，对复杂参数化变化几何实现精确、连续的PDE解预测？
• RQ2 不同架构选择——设计变量直接输入与基于超网络的参数生成——如何影响模型精度与训练效率？
• RQ3 通过最小距离函数实现的隐式几何编码在代理建模中在多大程度上可替代显式网格表示？
• RQ4 在车辆气动等高维复杂工程问题中，模型性能在训练数据有限时如何扩展？
• RQ5 在基于超网络的PDE代理建模中，模型精度、参数量与训练时间之间存在何种权衡？

主要发现

• 在二维RANS气动流问题中，设计变量超网络（DV-Hnet）的误差指标最低，RMSE与MAE均约为DV-MLP和NIDS的2倍。
• 尽管参数量显著更多，DV-Hnet在更少的训练周期内收敛，因此达到最优模型的时间远短于其他方法。
• 模型对压力场的预测误差在4%以内，x方向速度误差为3%，y方向速度误差略高于10%，与FOM解的主流动特征高度一致。
• 所有模型在未见几何上均表现出良好泛化能力，在二维泊松问题中，训练与验证的RMSE约为0.2，MAE约为0.1，对应约0.1%的平均相对误差。
• 模型在三角形几何上的误差较高，可能由于设计变量表示不足以及MDF在捕捉尖锐拐角时的局限性。
• 线性探测与等值线图显示预测中存在轻微振荡，但预测结果与FOM解之间的视觉差异通常较小，不具显著视觉特征。