[论文解读] Multi-agent reinforcement learning for wall modeling in LES of flow over periodic hills

Di Zhou, Michael P. Whitmore+2 more|arXiv (Cornell University)|Nov 29, 2022

Fluid Dynamics and Turbulent Flows被引用 4

一句话总结

该论文提出了一种基于多智能体强化学习（MARL）的壁模型，用于周期性山丘湍流大涡模拟（LES），利用局部流场状态优化壁面涡粘性并预测壁面剪切应力。该模型在不同雷诺数下均优于传统平衡壁模型，能够更准确捕捉平均速度、压力和剪切应力场，且在无高保真度训练数据的情况下对压力梯度效应表现出强鲁棒性。

ABSTRACT

We develop a wall model for large-eddy simulation (LES) that takes into account various pressure-gradient effects using multi-agent reinforcement learning (MARL). The model is trained using low-Reynolds-number flow over periodic hills with agents distributed on the wall along the computational grid points. The model utilizes a wall eddy-viscosity formulation as the boundary condition, which is shown to provide better predictions of the mean velocity field, rather than the typical wall-shear stress formulation. Each agent receives states based on local instantaneous flow quantities at an off-wall location, computes a reward based on the estimated wall-shear stress, and provides an action to update the wall eddy viscosity at each time step. The trained wall model is validated in wall-modeled LES (WMLES) of flow over periodic hills at higher Reynolds numbers, and the results show the effectiveness of the model on flow with pressure gradients. The analysis of the trained model indicates that the model is capable of distinguishing between the various pressure gradient regimes present in the flow.

研究动机与目标

• 开发一种数据高效的LES壁模型，以适应湍流中复杂的压力梯度效应。
• 将多智能体强化学习（MARL）从零压力梯度流拓展至具有强压力梯度的流动（如周期性山丘流）中。
• 仅使用局部流场状态和壁面剪切应力恢复作为奖励进行壁模型训练，避免依赖高保真度模拟数据。
• 在高于训练时使用的雷诺数条件下，验证壁模型在壁模化大涡模拟（WMLES）中的性能。
• 评估模型在不同流动状态和网格分辨率下的泛化能力。

提出的方法

• 在靠近壁面的网格点上分布多个强化学习智能体，以学习局部壁面涡粘性调整。
• 每个智能体使用局部瞬时流场量（如顺流速度、应变率）作为输入状态，并计算动作以更新壁面涡粘性。
• 奖励函数基于预测壁面剪切应力与参考数据的准确性，以促进向正确剪切应力的收敛。
• MARL框架使用时序差分学习在智能体间共享策略，优化长期奖励以实现精确的壁面应力预测。
• 壁模型以壁面涡粘性公式形式实现，替代LES中的标准壁面剪切应力边界条件。
• 训练在低雷诺数周期性山流中进行，模型在更高雷诺数的WMLES模拟中进行测试。

实验结果

研究问题

• RQ1 基于MARL的壁模型能否有效捕捉具有强压力梯度的流动（如周期性山丘流）中的壁面剪切应力？
• RQ2 与平衡壁模型（EQWM）相比，MARL壁模型在预测平均速度和雷诺应力分布方面表现如何？
• RQ3 经训练的MARL模型在训练时未使用的更高雷诺数下泛化程度如何？
• RQ4 MARL模型能否在流场中区分不同压力梯度区域（如逆压梯度、顺压梯度）？
• RQ5 模型性能对网格分辨率和亚格子尺度模型选择的敏感性如何？

主要发现

• 在训练雷诺数下，MARL壁模型在周期性山丘LES中成功预测了平均壁面剪切应力、平均壁面压力和平均速度分布，精度良好。
• 在 $Re_H = 10595$ 时，MARL模型在预测分离泡的尺寸与形状以及迎风侧峰值壁面剪切应力方面优于EQWM。
• 在 $Re_H = 19000$ 和 $37000$ 时，模型与WRLES数据在平均摩擦系数方面保持良好一致性，尽管随着雷诺数增加性能略有下降。
• 在 $Re_H = 19000$ 的粗网格RLWM模拟中，与WRLES的吻合度优于基准网格，表明可能存在网格敏感性。
• 模型展现出区分不同压力梯度区域的能力，表现为逆压梯度和顺压梯度区域中状态-动作模式的显著差异。
• MARL模型在无需高保真度训练数据的情况下实现了更优的预测性能，证实了其数据效率与物理感知学习能力。