[논문 리뷰] Active flow control for drag reduction through multi-agent reinforcement learning on a turbulent cylinder at $Re_D=3900$

P. M. Suárez, Francisco Alcántara-Ávila외 5명|arXiv (Cornell University)|2024. 05. 27.

Fluid Dynamics and Turbulent Flows인용 수 5

한 줄 요약

본 논문은 Re_D=3900에서 난류 3D 원통에 대해 10개의 제로-넷-질량-플럭스 제트를 사용하는 다중 에이전트 딥 강화학습 컨트롤러를 학습시키고, 고정 위상 기준선에 비해 질량 흐름 효율이 높으면서도 항력 감소를 달성한다.

ABSTRACT

This study presents novel drag reduction active-flow-control (AFC) strategies} for a three-dimensional cylinder immersed in a flow at a Reynolds number based on freestream velocity and cylinder diameter of $Re_D=3900$. The cylinder in this subcritical flow regime has been extensively studied in the literature and is considered a classic case of turbulent flow arising from a bluff body. The strategies presented are explored through the use of deep reinforcement learning. The cylinder is equipped with 10 independent zero-net-mass-flux jet pairs, distributed on the top and bottom surfaces, which define the AFC setup. The method is based on the coupling between a computational-fluid-dynamics solver and a multi-agent reinforcement-learning (MARL) framework using the proximal-policy-optimization algorithm. This work introduces a multi-stage training approach to expand the exploration space and enhance drag reduction stabilization. By accelerating training through the exploitation of local invariants with MARL, a drag reduction of approximately 9% is achieved. The cooperative closed-loop strategy developed by the agents is sophisticated, as it utilizes a wide bandwidth of mass-flow-rate frequencies, which classical control methods are unable to match. Notably, the mass cost efficiency is demonstrated to be two orders of magnitude lower than that of classical control methods reported in the literature. These developments represent a significant advancement in active flow control in turbulent regimes, critical for industrial applications.

연구 동기 및 목표

• Re_D=3900에서 서브크리틱 난류 후류를 갖는 3D 원통의 드래그 감소를 조사한다.
• 분산된 ZNMF 제트를 활용한 MARL 프레임워크를 개발·학습하여 원통의 후류를 제어한다.
• DRL 기반 AFC의 성능 및 질량-비용 효율성을 고정 기반선과 비교 평가한다.
• MARL 제어 하에서 후류의 동역학 및 스펙트럼 특성을 특성화하여 제어 기전을 파악한다.

제안 방법

• CFD 해석기(Alya)와 PPO를 이용한 정책 최적화를 통해 MARL 프레임워크를 결합한다.
• 제로-넷-질량-플럭스 제트 10개를 독립적으로 사용하되 상단과 하단에서 동기화된 반대 작용으로 질량의 순흐름이 0이 되도록 한다.
• 학습을 유도하기 위한 국소 보상과 전역 보상을 드래그 기여도와 양력 계수에 기초하여 정의한다 (R = Kr[β r_local + (1−β) r_global]).
• 에이전트 관측을 후류 슬라이스의 부분압력 필드로 표현하고 불변성을 활용하기 위해 에이전트 간 신경망 가중치를 공유한다.
• 고차원을 관리하고 분산 제어를 가능하게 하기 위해 다중 의사환경(MARL)에서 학습을 수행하며, 실험은 HPC 자원에서 실행된다.
• 질량 흐름 불연속을 피하기 위해 동작 간 부드러운 지수적 전이로 작동 업데이트를 수행한다.

Figure 1: Schematic representation that illustrates the multi-agent reinforcement-learning framework applied to a three-dimensional cylinder, showcasing communication channels between two main actors. In this case the direction of the information would be clockwise. At the top we show the agent arch

실험 결과

연구 질문

• RQ1 DRL-10의 분산 ZNMF 제트를 사용하여 Re_D=3900에서 3D 원통의 드래그를 감소시키면서 작동 에너지(제어 에너지)를 낮게 유지할 수 있는가?
• RQ2 DRL 제어 하에서의 후류 변화 및 스펙트럼 특징은 KC05 및 비제어 케이스와 비교해서 어떤 차이가 나타나는가?
• RQ3 이 고-Re 영역에서 MARL의 질량 흐름 비용 대 드래그 감소비용은 고정-스팬와이즈 제어와 어떻게 비교되는가?
• RQ4 학습된 DRL 전략은 강건하고 수렴하는가? 관련 제어 주파수 및 공간 스케일은 무엇인가?
• RQ5 MARL 하에서 관찰되는 드래그 감소의 메커니즘(예: 재순환, 압력 분포의 변화)은 무엇인가?

주요 결과

비제어	DRL-10	KC05	St	Lr/D	-Cpb	Qmax	Q RMS	fc	Cdbar	Cd RMS	Cl RMS	Delta Cd (%)	Ec*/Delta Cd
0.22	0.177	0.22
1.11	1.61	1.9
-1.02	-0.81	-0.76
…	0.053	0.11
…	0.037	…
…	0.115	…
1.08	0.99	0.921
0.021	0.049	0.015
0.236	0.29	0.044
…	-8.33	-14.7
…	0.0014	0.22

• DRL-10은 비제어 케이스 대비 8.3%의 항력 감소를 달성하였고, KC05에 비해 훨씬 낮은 작동 질량 유량을 보인다.
• KC05는 14.7%의 항력 감소를 가져오지만 DRL-10에 비해 질량 흐름 비용이 약 두 자릿수 더 크다(Ec*/ΔCd = 0.22 vs. 0.0014 for DRL-10).
• 재순환 버블 길이는 두 제어 모두에서 비제어 케이스 대비 각각 45%(DRL-10)와 71%(KC05) 증가한다.
• DRL-10은 원통 길이를 가로질러 더 분포적이고 미묘한 후류 제어 패턴을 보이며 다양한 작동 주파수를 가지며 제트 질량의 변동성이 크지만 대부분의 시간에 Q가 약 ±0.01 내로 유지된다(효율성에 의해 구동).
• DRL-10 전략은 비침습적이며 후류 구조에 적응하여 KC05에 비해 훨씬 작은 질량 흐름으로 드래그 감소를 달성한다(Qmax ≈ 0.053 for DRL-10 vs. 0.11 for KC05).
• 스펙트럼 분석에서 DRL-10 작동기가 다수의 스팬와이드 구조를 활성화하고(약 Wake 길이 ~D에 걸쳐), 더 높은 분산을 보이지만 하위-Re 케이스보다 제어 신호의 분산이 크다.

Figure 2: Evolution of the rewards at the end of each pseudo-environment episodes, denoted as $R$ , throughout the exploration phase, along with its contributions from lift-bias and pure drag-reduction during training sessions. The signals are smoothed using a moving average of 15 values.