[论文解读] Deep Reinforcement Learning achieves flow control of the 2D Karman Vortex Street

Jean Rabault, Ulysse Reglade+3 more|arXiv (Cornell University)|Aug 31, 2018

Model Reduction and Neural Networks参考文献 17被引用 3

一句话总结

本文证明了深度强化学习（DRL）能够成功实现雷诺数为100的二维卡门涡街后方圆柱体的主动流动控制。通过训练深度人工神经网络（DANN）来控制合成射流，该方法在稳态下平均仅使用0.35%的来流质量流量，实现了约8%的减阻效果，并显著抑制了涡旋脱落，且所需激励能量极低。

ABSTRACT

The Karman Vortex Street has been investigated for over a century and offers a reference case for investigation of flow stability and control of high dimensionality, non-linear systems. Active flow control, while of considerable interest from a theoretical point of view and for industrial applications, has remained inaccessible due to the difficulty in finding successful control strategies. Here we show that Deep Reinforcement Learning can achieve a stable active control of the Karman vortex street behind a two-dimensional cylinder. Our results show that Deep Reinforcement Learning can be used to design active flow controls and is a promising tool to study high dimensionality, non-linear, time dependent dynamic systems present in a wide range of scientific problems.

研究动机与目标

• 探究深度强化学习（DRL）是否能够在高维、非线性的流体系统（如二维卡门涡街）中实现稳定的主动流动控制。
• 评估使用DRL训练的人工神经网络在不依赖降阶模型的情况下，设计复杂流场控制策略的可行性。
• 证明DRL即使在强非线性和不稳定性系统中，也能以极低能量输入发现有效的控制策略。
• 探索DRL作为通用工具在流体力学及其他复杂动力系统研究与控制中的潜力。

提出的方法

• 采用二维不可压纳维-斯托克斯模拟，按照标准基准配置模拟雷诺数为100的圆柱体绕流。
• 在圆柱体两侧各布置两个角宽度为10°的合成射流，以法向于表面的方向注入流体，且净质量通量为零（Q₁ + Q₂ = 0）。
• 使用基于最小化阻力（D）和升力（L）波动的奖励函数，训练深度Q网络（DQN）智能体以抑制涡旋脱落。
• DRL智能体观测瞬时流动状态，并选择控制动作（质量流量Q₁, Q₂）以最大化累积折扣奖励。
• 采用时间差分学习方法端到端训练控制策略，网络根据观测到的状态转移和奖励更新权重。
• 该方法未依赖降阶模型或伴随优化，实现了对完整纳维-斯托克斯系统的直接控制。

实验结果

研究问题

• RQ1 深度强化学习能否有效学习高维、非线性流体系统（如二维卡门涡街）的主动流动控制策略？
• RQ2 DRL智能体在极低激励能量下，能在多大程度上降低阻力并抑制涡旋脱落？
• RQ3 DRL智能体的控制策略如何改变圆柱体后方平均压力分布和回流区特性？
• RQ4 在初始瞬态阶段之后，DRL智能体是否能仅通过小范围、间歇性的控制输入，稳定新的流动构型？
• RQ5 基于DRL的控制对控制信号的微小扰动是否具有鲁棒性？这又对受控状态的敏感性意味着什么？

主要发现

• 与无控制基线相比，DRL智能体实现了约8%的阻力降低。
• 涡旋脱落波动几乎被完全抑制，受控情况下的时序阻力系数（C_D）表现出显著减小的振荡。
• 控制策略增大了圆柱体后方回流泡的尺寸，并改变了其压力分布，这正是阻力降低的物理解释。
• DRL智能体使用了极低的激励水平：平均归一化质量流量仅为0.005，稳态下仅占来流质量流量的0.35%。
• 观察到两种控制行为阶段：短暂的初始瞬态阶段（控制强度达±0.02归一化流量），随后进入最小激励的准周期阶段。
• 系统对控制扰动极为敏感——控制信号的微小变化即导致主动控制状态崩溃，表明存在一个狭窄且稳定的运行点。