[论文解读] Comparative analysis of machine learning methods for active flow control

Fabio Pino, Lorenzo Schena+2 more|arXiv (Cornell University)|Feb 23, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

本文针对三种流体动力学问题——频率串扰稳定化、Burgers'流体中的波 cancellation、以及圆柱体尾迹的阻力降低——对机器学习方法（遗传编程（GP）、强化学习（RL）、贝叶斯优化（BO）、利普希茨优化（LIPO））进行了对比评估。研究将所有方法统一为黑箱优化问题，并表明BO和LIPO在收敛速度和鲁棒性方面表现更优，而GP和DDPG虽具有更高的探索能力但收敛更慢，凸显了控制律发现中模型容量与计算复杂性之间的权衡。

ABSTRACT

Machine learning frameworks such as Genetic Programming (GP) and Reinforcement Learning (RL) are gaining popularity in flow control. This work presents a comparative analysis of the two, bench-marking some of their most representative algorithms against global optimization techniques such as Bayesian Optimization (BO) and Lipschitz global optimization (LIPO). First, we review the general framework of the model-free control problem, bringing together all methods as black-box optimization problems. Then, we test the control algorithms on three test cases. These are (1) the stabilization of a nonlinear dynamical system featuring frequency cross-talk, (2) the wave cancellation from a Burgers' flow and (3) the drag reduction in a cylinder wake flow. We present a comprehensive comparison to illustrate their differences in exploration versus exploitation and their balance between `model capacity' in the control law definition versus `required complexity'. We believe that such a comparison paves the way toward the hybridization of the various methods, and we offer some perspective on their future development in the literature on flow control problems.

研究动机与目标

• 在统一的黑箱优化框架下，整合并比较无模型的机器学习控制方法（GP、RL、BO、LIPO），用于主动流动控制。
• 评估这些方法在三个典型流动控制问题上的性能：频率串扰稳定化、Burgers'流体中的波 cancellation、以及圆柱体尾迹的阻力降低。
• 分析不同方法在探索与利用、控制律表示的模型容量、以及计算复杂性之间的权衡。
• 提供关于收敛速度、鲁棒性与解质量的实证洞察，以指导流动控制研究中的方法选择与未来混合方法的设计。

提出的方法

• 将主动流动控制建模为黑箱优化问题，基于奖励（如阻力降低、噪声抑制）优化控制策略，而无需系统模型。
• 采用贝叶斯优化（BO）和利普希茨优化（LIPO）作为全局优化技术，分别使用概率性和确定性采集函数，实现高效探索。
• 应用遗传编程（GP）通过树状数学表达式的进化操作（交叉、变异）演化符号化控制律。
• 采用深度确定性策略梯度（DDPG）作为深度强化学习算法，采用演员-评论家架构，使用神经网络参数化控制策略与Q函数。
• 为所有问题实现一个具有可调权重的0维反馈控制律，确保在相同控制律结构下对各方法进行直接比较。
• 采用多起点、随机重启策略，每种方法运行10次独立实验，以确保统计鲁棒性，并报告均值与标准差。

实验结果

研究问题

• RQ1 在多样化的流动控制问题中，BO、LIPO、GP与DDPG在收敛速度与鲁棒性方面如何比较？
• RQ2 各方法在模型容量（控制律表达能力）与所需计算复杂性之间存在何种权衡？
• RQ3 在流动控制优化中，进化方法（GP）与样本高效方法（BO、LIPO）在探索与利用行为上存在哪些差异？
• RQ4 在最终性能与收敛稳定性方面，BO与LIPO相较于RL与GP的优越程度如何？
• RQ5 所识别的控制律（如反馈权重）是否可在不同流动构型间实现有意义的解释或泛化？

主要发现

• 贝叶斯优化（BO）与利普希茨优化（LIPO）在收敛速度与最终奖励方面持续优于GP与DDPG，以更少的函数评估次数达到最优性能。
• 在圆柱体尾迹阻力降低问题中，BO与LIPO识别出的控制律实现了约25–30%的平均阻力降低，显著优于GP与DDPG。
• 在Burgers'流体波 cancellation 任务中，BO与LIPO实现了近乎完美的抵消（残余振幅 < 0.05），且振荡极小；而GP与DDPG表现出更高的残余振幅与不稳定性。
• BO与LIPO识别出的控制律权重在10次运行中表现出更低的方差（例如，表7中w1：BO为0.2 ± 1.83，LIPO为1.13 ± 2.23），表明其具有更高的鲁棒性。
• 遗传编程（GP）展现出高探索能力但收敛性能差，最终奖励在不同运行间波动极大，且常无法达到最优性能。
• DDPG表现中等，但需要仔细调整超参数，并在高维控制问题中（特别是von Kármán涡街情形）表现出不稳定性。