[论文解读] Exploiting locality and physical invariants to design effective Deep Reinforcement Learning control of the unstable falling liquid film

Vincent Belus, Jean Rabault+4 more|arXiv (Cornell University)|Oct 17, 2019

Fluid Dynamics and Turbulent Flows参考文献 5被引用 4

一句话总结

本文提出了一种新颖的深度强化学习（DRL）方法，通过利用平移不变性和空间局部性，控制一维下拉液膜中的不稳定界面波。通过设计具有密集局部奖励函数的卷积DRL智能体，该方法能够高效控制任意数量的执行器，克服了高输出控制空间中的维度灾难问题，实现了比非不变或稀疏奖励基线方法更快、更稳定的训练，且性能更优。

ABSTRACT

Instabilities arise in a number of flow configurations. One such manifestation is the development of interfacial waves in multiphase flows, such as those observed in the falling liquid film problem. Controlling the development of such instabilities is a problem of both academic and industrial interest. However, this has proven challenging in most cases due to the strong nonlinearity and high dimensionality of the underlying equations. In the present work, we successfully apply Deep Reinforcement Learning (DRL) for the control of the one-dimensional (1D) depth-integrated falling liquid film. In addition, we introduce for the first time translational invariance in the architecture of the DRL agent, and we exploit locality of the control problem to define a dense reward function. This allows to both speed up learning considerably, and to easily control an arbitrary large number of jets and overcome the curse of dimensionality on the control output size that would take place using a naive approach. This illustrates the importance of the architecture of the agent for successful DRL control, and we believe this will be an important element in the effective application of DRL to large two-dimensional (2D) or three-dimensional (3D) systems featuring translational, axisymmetric or other invariants.

研究动机与目标

• 开发一种有效的DRL控制策略，用于不稳定下拉液膜这一高度非线性且高维的流体动力学问题。
• 通过利用物理不变量和空间局部性，解决在管理大量执行器时DRL控制中的维度灾难问题。
• 通过设计提供细粒度反馈的密集局部奖励函数，提升学习效率和策略质量。
• 证明架构设计——特别是平移不变性和局部性——在物理系统中显著提升DRL性能。
• 实现可扩展、可泛化的DRL控制，适用于具有类似对称性和空间结构的复杂二维和三维流体系统。

提出的方法

• 提出一种显式强制实现平移不变性的卷积DRL智能体架构，模仿图像处理中CNN的特性，实现对空间位置的泛化。
• 设计一种密集的局部奖励函数，对每个执行器位置的控制性能进行评估，提供细粒度反馈，而非全局平均。
• 采用半隐式有限体积格式对一维深度积分液膜模型进行精确高效的模拟。
• 在连续控制设置中，使用近端策略优化（PPO）和自定义的OpenAI Gym环境训练DRL智能体。
• 实施多种控制策略：M1（全局奖励）、M2（稀疏奖励）和M3（密集局部奖励），以比较学习效率和策略质量。
• 通过环境拆分和并行模拟，在多个CPU上扩展训练，实现快速原型设计和可复现性。

实验结果

研究问题

• RQ1 尽管存在强烈的非线性和高维性，DRL是否能有效控制不稳定的下拉液膜？
• RQ2 将平移不变性引入DRL智能体架构，对学习速度和策略性能有何影响？
• RQ3 与稀疏或全局奖励相比，使用密集局部奖励函数在多大程度上提升了训练效率和控制精度？
• RQ4 DRL智能体是否能控制任意数量的执行器，而不会在输出空间中遭受维度灾难？
• RQ5 架构选择（如卷积结构和奖励密度）如何影响DRL在物理系统中的可扩展性和鲁棒性？

主要发现

• 所提出的结合平移不变性和密集局部奖励的DRL方法，相比使用全局或稀疏奖励的基线方法，实现了显著更快且更稳定的训练。
• 卷积DRL智能体成功控制了任意数量的执行器，有效克服了控制输出空间中的维度灾难问题。
• 密集奖励函数提供了细粒度反馈，使智能体能够区分单个执行器位置上有效与无效的动作。
• M3方法（密集奖励）在学习速度和最终策略质量上均优于M1和M2，证明了在高维控制中局部反馈的重要性。
• 该架构对平移的不变性使智能体能够泛化至不同空间位置，降低了样本复杂度并提升了泛化能力。
• 该方法具有可扩展性和可拓展性，有望应用于具有类似物理不变性和局部性的复杂二维和三维流体系统。