[论文解读] DRLinFluids -- An open-source python platform of coupling Deep Reinforcement Learning and OpenFOAM

Qiulei Wang, Lei Yan+6 more|arXiv (Cornell University)|May 25, 2022

Model Reduction and Neural Networks参考文献 53被引用 14

一句话总结

DRLinFluids 是一个开源的 Python 平台，将深度强化学习（DRL）与 OpenFOAM 集成，用于流体力学应用，实现了高效的基于 DRL 的主动流动控制。该平台在圆柱和方柱流动中实现了高达 13.6% 的阻力降低和显著的升力抑制，且超参数调优需求极少。

ABSTRACT

We propose an open-source python platform for applications of Deep Reinforcement Learning (DRL) in fluid mechanics. DRL has been widely used in optimizing decision-making in nonlinear and high-dimensional problems. Here, an agent maximizes a cumulative reward with learning a feedback policy by acting in an environment. In control theory terms, the cumulative reward would correspond to the cost function, the agent to the actuator, the environment to the measured signals and the learned policy to the feedback law. Thus, DRL assumes an interactive environment or, equivalently, control plant. The setup of a numerical simulation plant with DRL is challenging and time-consuming. In this work, a novel python platform, named DRLinFluids is developed for this purpose, with DRL for flow control and optimization problems in fluid mechanics. The simulations employ OpenFOAM as popular, flexible Navier-Stokes solver in industry and academia, and Tensorforce or Tianshou as widely used versatile DRL packages. The reliability and efficiency of DRLinFluids are demonstrated for two wake stabilization benchmark problems. DRLinFluids significantly reduces the application effort of DRL in fluid mechanics and is expected to greatly accelerates academic and industrial applications.

研究动机与目标

• 降低在计算流体动力学（CFD）模拟中实现深度强化学习（DRL）的复杂性和时间成本。
• 通过与 OpenFOAM 的无缝集成，弥合先进 DRL 算法与传统流体力学研究之间的差距。
• 为学术和工业应用中的基于 DRL 的主动流动控制提供可扩展、用户友好的框架。
• 通过涉及阻力降低和涡旋脱落抑制的基准流动控制问题，展示平台的可靠性和高效性。

提出的方法

• 该平台使用 OpenFOAM 作为 CFD 环境来模拟流体流动，为 DRL 代理提供高保真度的状态观测。
• 它与 DRL 后端（如 Tensorforce 和 Tianshou）集成，支持包括 PPO 和 SAC 在内的多种强化学习算法。
• 使用正则表达式动态解析和修改 OpenFOAM 字典文件，实现实时控制参数更新。
• 通过支持 OpenFOAM 的 CFD 模拟并行化以及在多个环境之间对 DRL 任务进行高层并行化，实现训练的并行化。
• 设计了奖励函数，以同时最小化阻力系数和升力系数，从而鼓励生成稳定且高效的控制策略。
• 代理通过与 OpenFOAM 模拟环境的持续交互学习反馈策略，通过更新其策略网络以最大化累积奖励。

Figure 1: Interaction of agent and environment in reinforcement learning

实验结果

研究问题

• RQ1 一个统一的开源平台能否有效将 DRL 与 OpenFOAM 联合用于流体力学应用？
• RQ2 DRLinFluids 在复杂非线性流体系统中训练主动流动控制策略的效率如何？
• RQ3 DRLinFluids 在圆柱和方柱等典型流动构型中，能在多大程度上实现阻力降低和涡旋脱落抑制？
• RQ4 所学习的控制策略在不同 DRL 算法和流动几何形状下的鲁棒性如何？
• RQ5 在使用 DRLinFluids 时，通过极少的超参数调优，能够实现多大程度的性能提升（例如阻力降低）？

主要发现

• DRLinFluids 在雷诺数 Re = 100 的条件下，成功将圆柱的阻力降低高达 8%，方柱的阻力降低高达 13.6%。
• 升力波动被抑制到极低水平，表明流动场得到了有效稳定。
• 该平台在不同 DRL 算法（如 PPO 和 SAC）之间均表现出一致的控制性能，证明了其鲁棒性。
• 最优控制策略所需的喷射速度仅占来流速度的极小比例——圆柱为 0.58%，方柱为 3.443%。
• 该框架支持 CFD 模拟和 DRL 训练任务的高效并行化，具备扩展至复杂流动的能力。
• 使用正则表达式操作 OpenFOAM 字典文件，实现了 DRL 代理与 CFD 求解器之间灵活可靠的双向数据交换。

Figure 2: Directory structure of an OpenFOAM case.