[论文解读] Mechanisms of a Convolutional Neural Network for Learning Three-dimensional Unsteady Wake Flow

Sang-Seung Lee, Donghyun You|arXiv (Cornell University)|Sep 13, 2019

Model Reduction and Neural Networks参考文献 64被引用 7

一句话总结

本研究开发了一种多分辨率卷积神经网络（CNN）系统，用于预测圆柱体后方在两种流动状态——三维尾迹过渡和剪切层过渡——中的三维非定常尾迹流。通过分析特征图并进行傅里叶分析，作者揭示了CNN在各层之间传输波数信息以预测流动动力学的机制，并证明在不损失性能的前提下可移除85%的冗余特征图，从而实现高效、可解释的流动建模，显著减少网络设计中的试错过程。

ABSTRACT

Convolutional neural networks (CNNs) have recently been applied to predict or model fluid dynamics. However, mechanisms of CNNs for learning fluid dynamics are still not well understood, while such understanding is highly necessary to optimize the network or to reduce trial-and-errors during the network optmization. In the present study, a CNN to predict future three-dimensional unsteady wake flow using flow fields in the past occasions is developed. Mechanisms of the developed CNN for prediction of wake flow behind a circular cylinder are investigated in two flow regimes: the three-dimensional wake transition regime and the shear-layer transition regime. Feature maps in the CNN are visualized to compare flow structures which are extracted by the CNN from flow at the two flow regimes. In both flow regimes, feature maps are found to extract similar sets of flow structures such as braid shear-layers and shedding vortices. A Fourier analysis is conducted to investigate mechanisms of the CNN for predicting wake flow in flow regimes with different wave number characteristics. It is found that a convolution layer in the CNN integrates and transports wave number information from flow to predict the dynamics. Characteristics of the CNN for transporting input information including time histories of flow variables is analyzed by assessing contributions of each flow variable and time history to feature maps in the CNN. Structural similarities between feature maps in the CNN are calculated to reveal the number of feature maps that contain similar flow structures. By reducing the number of feature maps that contain similar flow structures, it is also able to successfully reduce the number of parameters to learn in the CNN by 85\% without affecting prediction performances.

研究动机与目标

• 理解CNN在学习复杂三维非定常流体动力学（特别是尾迹流）时的预测机制。
• 通过揭示信息在各层间的处理与传输方式，减少CNN网络结构设计对试错的依赖。
• 识别并消除冗余特征图，同时不降低预测性能。
• 研究不同流动状态（尾迹过渡与剪切层过渡）对特征图表征及信息传输的影响。
• 为流体动力学应用提供一种系统化、数据驱动的CNN优化方法。

提出的方法

• 构建了一个多分辨率CNN系统，包含多个子网络，以捕捉不同空间尺度下的流动动力学。
• 通过求解不可压Navier-Stokes方程的数值模拟生成流场数据集，雷诺数包括ReD = 3900。
• 可视化各卷积层的特征图，以分析提取的流动结构，如辫状剪切层和涡旋脱落结构。
• 应用傅里叶分析，研究卷积层如何在不同尺度间整合与传输波数信息。
• 通过贡献度分析评估各流动变量和时间历史对特征图输出的影响，以评估信息传输机制。
• 利用相似性矩阵量化特征图之间的结构相似性，检测并移除冗余特征图，使模型复杂度降低85%。

实验结果

研究问题

• RQ1 在多分辨率CNN系统中，不同非定常尾迹流状态下的特征图如何表征流动结构？
• RQ2 卷积层在整合与传输波数信息以预测三维非定常流动动力学方面发挥何种作用？
• RQ3 在CNN系统的各层中，不同流动变量和时间历史的贡献如何变化？
• RQ4 在不影响预测精度的前提下，可移除多少比例的冗余特征图（即包含相似流动结构的特征图）？
• RQ5 基于相似性的系统化方法能否在保持预测性能的前提下显著减少特征图数量，从而应用于基于CNN的流动建模？

主要发现

• 该CNN系统成功利用通过卷积层传输的波数信息，在三维尾迹过渡和剪切层过渡两种状态下均实现了对三维非定常尾迹流的预测。
• 在不同雷诺数下，特征图一致提取了关键流动结构，如辫状剪切层和涡旋脱落结构，且更高雷诺数下可识别更精细尺度的结构。
• 卷积层能够从输入流场中整合并传输波数信息，从而实现在多个长度尺度上的预测能力。
• 深层网络表现出更清晰、更一致的流动结构，这是由于流动变量和时间历史的累积整合所致。
• 在深层网络中，所有流动变量的贡献度几乎相等，而近期时间历史的贡献更强，表明网络学习到了时间相关性。
• 通过基于结构相似性的方法移除85%的特征图后，精简后的CNN系统与原始模型相比预测性能无明显差异，证明了在不损失精度的前提下实现了显著的模型压缩。