[论文解读] Automating Turbulence Modeling by Multi-Agent Reinforcement Learning

Guido Novati, Hugues Lascombes de Laroussilhe+1 more|arXiv (Cornell University)|May 18, 2020

Fluid Dynamics and Turbulent Flows参考文献 33被引用 15

一句话总结

本文提出了一种多智能体强化学习（MARL）框架，用于自动发现大涡模拟（LES）中的亚格子尺度（SGS）模型以模拟湍流。通过训练协作智能体基于直接数值模拟（DNS）数据的谱恢复来优化奖励，该方法学习到自适应且可泛化的 SGS 模型，其性能优于传统方法，并能在不同网格分辨率和雷诺数下实现良好泛化。

ABSTRACT

The modeling of turbulent flows is critical to scientific and engineering problems ranging from aircraft design to weather forecasting and climate prediction. Over the last sixty years numerous turbulence models have been proposed, largely based on physical insight and engineering intuition. Recent advances in machine learning and data science have incited new efforts to complement these approaches. To date, all such efforts have focused on supervised learning which, despite demonstrated promise, encounters difficulties in generalizing beyond the distributions of the training data. In this work we introduce multi-agent reinforcement learning (MARL) as an automated discovery tool of turbulence models. We demonstrate the potential of this approach on Large Eddy Simulations of homogeneous and isotropic turbulence using as reward the recovery of the statistical properties of Direct Numerical Simulations. Here, the closure model is formulated as a control policy enacted by cooperating agents, which detect critical spatio-temporal patterns in the flow field to estimate the unresolved sub-grid scale (SGS) physics. The present results are obtained with state-of-the-art algorithms based on experience replay and compare favorably with established dynamic SGS modeling approaches. Moreover, we show that the present turbulence models generalize across grid sizes and flow conditions as expressed by the Reynolds numbers.

研究动机与目标

• 为克服依赖工程直觉且难以泛化的传统物理驱动湍流模型的局限性。
• 解决现有监督机器学习方法在湍流建模中泛化失败的问题，这些方法在训练数据范围之外表现不佳。
• 开发一种基于强化学习的自动化、数据驱动框架，用于发现有效的 SGS 模型。
• 实现可跨不同网格分辨率和流动条件（如不同雷诺数）泛化的闭包模型发现。

提出的方法

• 部署多个智能体，每个智能体负责使用共享控制策略 $ \pi_{\mathbf{w}} $ 在一个网格点上估计 SGS 耗散系数 $ C_s^2 $。
• 将每个智能体的状态 $ \mathbf{s}(\mathbf{x},t) $ 定义为局部流动不变量（速度梯度和 Hessian 不变量）与全局流动统计量（能量谱、粘性耗散率和总耗散率）的组合。
• 使用基于 LES 能量谱与 DNS 目标匹配的正则化对数似然的奖励函数，通过多智能体强化学习算法优化智能体。
• 采用经验回放和离策略训练以在 MARL 框架中稳定学习并提高样本效率。
• 引入两种奖励变体：一种强调谱精度（$ r^{LL} $），另一种结合 Germano 恒等式以保证物理一致性（$ r^G $）。
• 使用 smarties RL 库端到端训练策略，由流体求解器 CubismUP 3D 提供模拟动力学和反馈。

实验结果

研究问题

• RQ1 多智能体强化学习能否在不依赖物理假设的前提下，发现与直接数值模拟统计特性相匹配的亚格子尺度模型？
• RQ2 与传统模型相比，MARL 衍生的 SGS 模型在不同网格分辨率和雷诺数下的泛化能力如何？
• RQ3 MARL 框架能否在提升谱精度的同时，学习到满足 Germano 恒等式的物理一致模型？
• RQ4 基于正则化对数似然的奖励是否相比直接基于概率的奖励能带来更优的优化稳定性？
• RQ5 MARL 基于的模型在能量谱恢复和湍流统计方面是否优于成熟的动态 Smagorinsky 模型和标准 Smagorinsky 模型？

主要发现

• 基于 MARL 的 SGS 模型在谱精度方面达到或优于动态 Smagorinsky 模型，平均谱误差降低 10%。
• 采用 $ r^{LL} $ 奖励训练的模型（该奖励包含对数似然的导数）在训练过程中表现出更快的收敛速度和更高的稳定性。
• MARL 模型在不同网格尺寸和雷诺数间具有良好的泛化能力，即使在超出训练条件的测试中也能保持准确的能量谱。
• 在奖励中引入 Germano 恒等式（$ r^G $）可生成物理一致的模型，通过裁剪避免出现不合理的负 $ C_s^2 $ 值。
• 该方法成功学习到能恢复各向同性湍流关键统计特性的闭包模型，包括能量谱和耗散率。
• 该框架表明，强化学习可作为湍流建模中一种可行的自动化发现工具，减少对启发式或物理假设的依赖。