[论文解读] Deep Reinforcement Learning in Fluid Mechanics: a promising method for both Active Flow Control and Shape Optimization

Jean Rabault, Feng Ren+3 more|arXiv (Cornell University)|Jan 8, 2020

Model Reduction and Neural Networks参考文献 39被引用 5

一句话总结

本文综述了深度强化学习（DRL）在流体力学中主动流动控制与形状优化方面的应用，将其视为一种有前景的方法，通过试错学习解决传统方法难以应对的高维、非线性、非凸问题。该文展示了DRL在基准案例中的成功应用，并强调了奖励函数设计、数据效率以及控制空间中的维度灾难等关键挑战。

ABSTRACT

In recent years, Artificial Neural Networks (ANNs) and Deep Learning have become increasingly popular across a wide range of scientific and technical fields, including Fluid Mechanics. While it will take time to fully grasp the potentialities as well as the limitations of these methods, evidence is starting to accumulate that point to their potential in helping solve problems for which no theoretically optimal solution method is known. This is particularly true in Fluid Mechanics, where problems involving optimal control and optimal design are involved. Indeed, such problems are famously difficult to solve effectively with traditional methods due to the combination of non linearity, non convexity, and high dimensionality they involve. By contrast, Deep Reinforcement Learning (DRL), a method of optimization based on teaching empirical strategies to an ANN through trial and error, is well adapted to solving such problems. In this short review, we offer an insight into the current state of the art of the use of DRL within fluid mechanics, focusing on control and optimal design problems.

研究动机与目标

• 评估深度强化学习（DRL）在解决涉及最优控制与设计的复杂流体力学问题中的潜力。
• 识别将DRL应用于流体动力学时面临的关键挑战，包括奖励函数设计、数据效率以及高维控制空间问题。
• 全面概述当前DRL在流体力学中的应用，重点关注主动流动控制与形状优化。
• 强调跨学科合作与开源代码共享的重要性，以加速该领域的采纳与创新。
• 通过总结最佳实践与关键实现考量，为研究人员提供有效应用DRL的指导。

提出的方法

• DRL采用试错学习框架，智能体与流体环境交互以最大化累积奖励信号。
• 该方法使用两个深度神经网络：一个用于近似价值函数（Q网络），另一个用于学习最优策略（策略网络），如近端策略优化（PPO）算法所示。
• 流体模拟中的状态表征（如速度场、压力分布）被用作DRL智能体的输入，动作对应于控制输入（如执行器设置或形状参数）。
• 奖励函数经过精心设计，以引导智能体实现期望结果，如减阻或流动稳定，同时避免非预期行为。
• 对输入数据进行归一化处理，使其范围接近[−1, 1]，以提升DRL策略的训练稳定性和收敛性。
• 该方法利用并行化技术缓解数据密集型需求，并实现向更大规模、三维、高雷诺数流场问题的可扩展性。

实验结果

研究问题

• RQ1 DRL能否有效解决经典优化方法难以处理的流体力学最优控制与设计问题？
• RQ2 奖励塑造、网络架构和状态表征等设计选择如何影响DRL在流体动力学应用中的性能？
• RQ3 在将DRL扩展至真实流体系统时，主要挑战是什么，特别是维度灾难与仿真到现实的迁移问题？
• RQ4 DRL在不同流动构型间的泛化能力如何？迁移学习或领域随机化在提升鲁棒性方面可发挥何种作用？
• RQ5 流体力学研究社区在多大程度上可从现有的DRL工具包和开源实现中受益，以加速研究并降低开发门槛？

主要发现

• DRL在主动流动控制与形状优化的基准问题上已取得成功，证明其能够处理非线性、非凸且高维的流体动力学问题。
• 奖励函数是关键设计要素；定义不当的奖励可能导致智能体因利用算法漏洞而产生非预期或次优行为。
• 将输入数据归一化至[−1, 1]范围可显著提升DRL智能体在流体力学应用中的训练稳定性和收敛性。
• 尽管数据需求量大，DRL具有天然的可并行性，借助充足的计算资源可实现显著加速。
• 控制空间中的维度灾难仍是主要挑战，但可通过利用系统中的空间局部性和物理不变量加以缓解。
• 开源DRL框架（如实现PPO的框架）是宝贵资源，社区范围内的代码共享对于降低进入门槛和加速研究进展至关重要。