[論文レビュー] Active flow control for drag reduction through multi-agent reinforcement learning on a turbulent cylinder at $Re_D=3900$

P. M. Suárez, Francisco Alcántara-Ávila+5 more|arXiv (Cornell University)|May 27, 2024

Fluid Dynamics and Turbulent Flows被引用数 5

ひとこと要約

tldr: 本論文は Re_D=3900 の乱流3D円柱に対して、十個のゼロ・ネット・マスフラックス・ジェットを用いたマルチエージェント深層強化学習制御器を訓練し、固定位相のベースラインと比較して高い質量流量効率で抗力低減を達成する。

ABSTRACT

This study presents novel drag reduction active-flow-control (AFC) strategies} for a three-dimensional cylinder immersed in a flow at a Reynolds number based on freestream velocity and cylinder diameter of $Re_D=3900$. The cylinder in this subcritical flow regime has been extensively studied in the literature and is considered a classic case of turbulent flow arising from a bluff body. The strategies presented are explored through the use of deep reinforcement learning. The cylinder is equipped with 10 independent zero-net-mass-flux jet pairs, distributed on the top and bottom surfaces, which define the AFC setup. The method is based on the coupling between a computational-fluid-dynamics solver and a multi-agent reinforcement-learning (MARL) framework using the proximal-policy-optimization algorithm. This work introduces a multi-stage training approach to expand the exploration space and enhance drag reduction stabilization. By accelerating training through the exploitation of local invariants with MARL, a drag reduction of approximately 9% is achieved. The cooperative closed-loop strategy developed by the agents is sophisticated, as it utilizes a wide bandwidth of mass-flow-rate frequencies, which classical control methods are unable to match. Notably, the mass cost efficiency is demonstrated to be two orders of magnitude lower than that of classical control methods reported in the literature. These developments represent a significant advancement in active flow control in turbulent regimes, critical for industrial applications.

研究の動機と目的

• Re_D=3900での三次元円柱の亜臨界乱流 wake における抗力低減を調査する。
• 分散ZNFジェットを用いたMARLフレームワークを開発・訓練し、円柱 wakeを制御する。
• 固定ベースラインと比較したDRLベース AFCの性能と質量コスト効率を評価する。
• MARL制御下でのwakeダイナミクスとスペクトル特徴を特徴付け、制御機構を特定する。

提案手法

• CFDソルバー（Alya）をPPOによるポリシー最適化と組み合わせてMARLフレームワークを構築する。
• ゼロ・ネット・マスフラックス・ジェットを十個独立に配置し、質量流量ゼロを保つために同期的な反対作用を適用する（上部と下部）。
• 学習を導くための局所リワードと全体リワードを定義する（R = Kr[β r_local + (1−β) r_global]）。
• 観測は wake slices の部分圧力場で表現し、エージェント間でニューラルネットワークの重みを共有して不変性を活用する。
• 高次元性を管理し分散制御を可能にするため、複数の疑似環境（MARL）で訓練を行い、計算資源はHPCで実験を実行する。
• 作用更新はマス流れの不連続を避けるため、作用間の滑らかな指数的遷移に従う。

Figure 1: Schematic representation that illustrates the multi-agent reinforcement-learning framework applied to a three-dimensional cylinder, showcasing communication channels between two main actors. In this case the direction of the information would be clockwise. At the top we show the agent arch

実験結果

リサーチクエスチョン

• RQ1 分散ZNFジェットを用いたMARLは Re_D=3900 の3D円柱に対して抗力を低減し、 actuationsエネルギーを低く抑えられるか。
• RQ2 DRL制御下での尾流の変更とスペクトル特徴は KC05 および無制御ケースと比較してどう現れるか。
• RQ3 この高Re域におけるMARLの単位ドラッグ低減あたりの質量流量コストは、固定スパンワイズ制御と比較してどうか。
• RQ4 学習したDRL戦略は頑健性と収束性を有するか、関連する制御周波数と空間スケールは何か。
• RQ5 MARLの駆動メカニズム（再循環の変化、圧力分布の変化など）は、観測された抗力低減をどのように促進するか。

主な発見

無制御	DRL-10	KC05	St	Lr/D	-Cpb	Qmax	Q RMS	fc	Cdbar	Cd RMS	Cl RMS	Delta Cd (%)	Ec*/Delta Cd
0.22	0.177	0.22
1.11	1.61	1.9
-1.02	-0.81	-0.76
…	0.053	0.11
…	0.037	…
…	0.115	…
1.08	0.99	0.921
0.021	0.049	0.015
0.236	0.29	0.044
…	-8.33	-14.7
…	0.0014	0.22

• DRL-10 は無制御ケースに対して8.3%の抗力低減を達成し、KC05よりはるかに低い作用質量流を示す。
• KC05 は 14.7% の抗力低減を得るが、DRL-10 の質量流量コストの約二桁上回る（Ec*/ΔCd = 0.22 vs. 0.0014 for DRL-10）。
• 再循環バブル長は両方の制御下で延長され、無制御ケースに対して DRL-10 で 45%、KC05 で 71% 増加。
• DRL-10 は span にわたりより分散した、微妙な wake制御パターンを示し、作用周波数のスペクトル幅が広く、ジェット質量のばらつきが大きいが、ほとんどの時間で Q は約 ±0.01 の範囲内を維持する（効率による）。
• DRL-10 の戦略は非侵襲的で wake構造へ適応し、KC05 よりはるかに小さな質量流量で抗力低減を達成（DRL-10 の場合の Qmax ≈ 0.053 対 KC05 の 0.11）。
• スペクトル解析では、DRL-10 のアクチュエータが複数の spanwise 構造を活性化し（ wake長さは概ね D に相当）、低Re のケースよりアクチュエータ信号の分散が高いことを示す。

Figure 2: Evolution of the rewards at the end of each pseudo-environment episodes, denoted as $R$ , throughout the exploration phase, along with its contributions from lift-bias and pure drag-reduction during training sessions. The signals are smoothed using a moving average of 15 values.