[论文解读] Advanced deep-reinforcement-learning methods for flow control: group-invariant and positional-encoding networks improve learning speed and quality

Joogoo Jeon, Jean Rabault+4 more|arXiv (Cornell University)|Jul 25, 2024

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种新颖的深度强化学习（DRL）框架用于流动控制，该框架在多智能体强化学习（MARL）设置中整合了群不变神经网络（GI-NNs）和位置编码。通过强制实施空间对称性不变性并注入位置感知表征，该方法将学习速度提升了50%，并提高了策略质量，在Rayleigh-Bénard对流模拟中将努塞尔数（Nusselt number）降低了最多15%。

ABSTRACT

Flow control is key to maximize energy efficiency in a wide range of applications. However, traditional flow-control methods face significant challenges in addressing non-linear systems and high-dimensional data, limiting their application in realistic energy systems. This study advances deep-reinforcement-learning (DRL) methods for flow control, particularly focusing on integrating group-invariant networks and positional encoding into DRL architectures. Our methods leverage multi-agent reinforcement learning (MARL) to exploit policy invariance in space, in combination with group-invariant networks to ensure local symmetry invariance. Additionally, a positional encoding inspired by the transformer architecture is incorporated to provide location information to the agents, mitigating action constraints from strict invariance. The proposed methods are verified using a case study of Rayleigh-Bénard convection, where the goal is to minimize the Nusselt number Nu. The group-invariant neural networks (GI-NNs) show faster convergence compared to the base MARL, achieving better average policy performance. The GI-NNs not only cut DRL training time in half but also notably enhance learning reproducibility. Positional encoding further enhances these results, effectively reducing the minimum Nu and stabilizing convergence. Interestingly, group invariant networks specialize in improving learning speed and positional encoding specializes in improving learning quality. These results demonstrate that choosing a suitable feature-representation method according to the purpose as well as the characteristics of each control problem is essential. We believe that the results of this study will not only inspire novel DRL methods with invariant and unique representations, but also provide useful insights for industrial applications.

研究动机与目标

• 解决传统流动控制在非线性、高维流体系统中的局限性。
• 通过引入归纳偏置，克服在复杂流体动力学中训练深度强化学习智能体的挑战。
• 通过具备对称性感知和位置感知的神经网络架构，提升流动控制中的样本效率和策略性能。
• 研究在DRL驱动的流动控制中，群不变性（用于速度）与位置编码（用于质量）的互补作用。
• 在经典的Rayleigh-Bénard对流基准任务上展示该方法的有效性，实现收敛性和性能的可测量提升。

提出的方法

• 采用多智能体强化学习（MARL）以利用流体域中空间策略不变性。
• 集成群不变神经网络（GI-NNs）以强制实现局部对称性不变性，确保在空间变换下表示的等变性。
• 应用受Transformer架构启发的位置编码，将空间位置信息注入智能体的观测中。
• 在共享的DRL主干网络中结合GI-NNs与位置编码，以平衡不变性与表达能力。
• 使用近端策略优化（PPO）训练DRL智能体，奖励函数被设计为最小化努塞尔数。
• 以二维Rayleigh-Bénard对流设置作为环境，采用基于有限差分的流动模拟进行策略训练。

实验结果

研究问题

• RQ1 群不变神经网络是否能提升DRL智能体在流动控制中的样本效率和收敛速度？
• RQ2 位置编码在高维流动系统中在多大程度上提升了DRL智能体的策略质量和稳定性？
• RQ3 在多智能体DRL框架中，群不变性与位置编码在流动控制中的相互作用如何？
• RQ4 对称性与位置感知表征的整合是否能带来更可重现且鲁棒的学习结果？
• RQ5 与标准MARL基线相比，该方法在Rayleigh-Bénard对流中能否实现更低的努塞尔数？

主要发现

• 与基础MARL基线相比，群不变神经网络（GI-NNs）将DRL训练时间减少了约50%。
• GI-NNs实现了更优的平均策略性能，且在学习可重现性方面有显著提升。
• 与GI-NN基线相比，位置编码进一步将最小努塞尔数降低了最多15%。
• GI-NNs与位置编码的结合稳定了收敛性，并在多次训练运行中提升了鲁棒性。
• GI-NNs在加速学习速度方面表现突出，而位置编码则在提升策略质量和最终性能方面更具优势。
• 结果表明，架构层面的归纳偏置——特别是对称性与位置感知——对于在流体动力学中实现高效且有效的DRL至关重要。