[论文解读] Model order reduction with neural networks: Application to laminar and turbulent flows

Kai Fukami, Kazuto Hasegawa+3 more|arXiv (Cornell University)|Nov 20, 2020

Model Reduction and Neural Networks参考文献 120被引用 71

一句话总结

本研究评估了一种结合卷积神经网络（CNNs）与多层感知机（MLPs）的混合自编码器（AE），用于流体动力学中的模型降阶。结果表明，自编码器的性能对潜在维度、激活函数和模型规模等超参数极为敏感，且在层流与湍流流动中最优配置存在显著差异——凸显了针对流动特性的专门调优的必要性，并为复杂流体系统中稳健的、数据驱动的降阶建模提供了洞见。

ABSTRACT

We investigate the capability of neural network-based model order reduction, i.e., autoencoder (AE), for fluid flows. As an example model, an AE which comprises of a convolutional neural network and multi-layer perceptrons is considered in this study. The AE model is assessed with four canonical fluid flows, namely: (1) two-dimensional cylinder wake, (2) its transient process, (3) NOAA sea surface temperature, and (4) $y-z$ sectional field of turbulent channel flow, in terms of a number of latent modes, a choice of nonlinear activation functions, and a number of weights contained in the AE model. We find that the AE models are sensitive against the choice of the aforementioned parameters depending on the target flows. Finally, we foresee the extensional applications and perspectives of machine learning based order reduction for numerical and experimental studies in fluid dynamics community.

研究动机与目标

• 系统评估关键超参数（潜在维度、激活函数、参数数量）对流体动力学中基于自编码器的模型降阶的影响。
• 研究自编码器性能对流动特性的敏感性，包括层流与湍流流动以及瞬态动力学的影响。
• 评估剪枝作为降低模型复杂度同时保持重建精度的方法的有效性。
• 为在数值和实验流体动力学研究中部署基于神经网络的降阶模型提供实用指导。
• 解决关于自编码器在复杂、高维流体系统中局限性与泛化潜力的开放性问题。

提出的方法

• 采用混合自编码器架构，结合卷积神经网络（CNNs）进行空间特征提取，以及多层感知机（MLPs）实现潜在空间压缩与重构。
• CNN通过可学习滤波器和池化操作，将高维流动场编码为低维潜在空间，随后通过全连接层实现降维。
• 解码器利用转置卷积和上采样层，从潜在表示中重构原始流动场。
• 模型采用端到端训练，使用输入与重构流动场之间的均方误差（MSE）作为损失函数。
• 在四个典型流体流动数据集上评估超参数敏感性：二维圆柱尾迹、瞬态流动、NOAA海表温（SST）和湍流通道流动。
• 通过设定稀疏性阈值剪除不重要的权重，实施模型剪枝，随后重新评估重建误差。

实验结果

研究问题

• RQ1 潜在模态数量如何影响不同流动类型下基于自编码器的降阶模型的重建精度与泛化能力？
• RQ2 不同非线性激活函数（如ReLU、ELU、SELU）在层流与湍流流动中对自编码器性能与稳定性的影响力如何？
• RQ3 模型规模（参数数量）对训练动态、重建误差与泛化能力的影响是什么？
• RQ4 剪枝能否有效减少参数数量而不降低重建质量？其效果在不同流动状态下如何变化？
• RQ5 与层流或瞬态流动相比，自编码器在表征复杂湍流动力学方面存在哪些固有局限性？

主要发现

• 准确重建所需的潜在模态数量因流动复杂度而异：层流流动（如圆柱尾迹）所需模态数少于湍流或瞬态流动。
• 激活函数的选择对重建精度具有显著的流动依赖性影响，ReLU与ELU在大多数情况下表现更优，而SELU在湍流流动重建中导致不稳定性。
• 在湍流流动上训练的自编码器，其网络中权重幅值分布更均匀，而层流流动中则由少数大权重主导，表明学习动态存在差异。
• 剪除最少显著的10%–20%权重后，重建误差（L2范数）仍保持较低水平，表明模型压缩可在不显著损失精度的前提下实现。
• NOAA海表温数据集的重建误差表现出介于层流与湍流情况之间的中间行为，反映了其流动复杂度的中间特性。
• 本研究证实，不存在适用于所有情况的最优自编码器配置——超参数选择必须根据具体流动特性进行调整，尤其在高维湍流系统中更为关键。