[논문 리뷰] Active flow control for three-dimensional cylinders through deep reinforcement learning

Pol Suárez, Francisco Alcántara-Ávila외 5명|arXiv (Cornell University)|2023. 09. 04.

Plasma and Flow Control in Aerodynamics인용 수 12

한 줄 요약

논문은 CFD 해석기와 PPO로 연결된 다중 에이전트 심층 강화학습(MARL)을 이용해 실린더 표면의 여러 제로-넷 질량 유량 제트를 제어하여 3D 실린더의 항력을 감소시키는 것을 성공적으로 보여준다.

ABSTRACT

This paper presents for the first time successful results of active flow control with multiple independently controlled zero-net-mass-flux synthetic jets. The jets are placed on a three-dimensional cylinder along its span with the aim of reducing the drag coefficient. The method is based on a deep-reinforcement-learning framework that couples a computational-fluid-dynamics solver with an agent using the proximal-policy-optimization algorithm. We implement a multi-agent reinforcement-learning framework which offers numerous advantages: it exploits local invariants, makes the control adaptable to different geometries, facilitates transfer learning and cross-application of agents and results in significant training speedup. In this contribution we report significant drag reduction after applying the DRL-based control in three different configurations of the problem.

연구 동기 및 목표

• DRL 기반 활성 흐름 제어를 2D에서 3D 실린더로 확장하고 표면 액추에이터를 다수 배치한다.
• 높은 차원의 제트 제어를 관리하기 위해 지역적 관찰을 활용하여 학습 비용의 부담 없이 다중 에이전트 협력을 구현한다.
• 다양한 Reynolds 수 및 기하 구성에서의 항력 감소 성능을 평가한다.
• 3D 와이크 제어에 대한 MARL 벤치마크를 제공하고 액추에이터 배치 및 관찰 선택에 대한 통찰을 제시한다.

제안 방법

• Alya CFD 해석기(유한요소 나비에-스토크스)와 다중 에이전트 PPO 프레임워크를 연결한다.
• 질량 유량 Q를 가진 스판와이드 제트를 제어하기 위해 신경망 가중치를 공유하는 여러 독립 에이전트를 배치한다.
• 드래그 감소 및 양력 페널티를 기반으로 한 로컬 및 글로벌 보상을 정의하고 β=0.8로 균형을 맞춘다.
• 의사-환경당 85개의 프로브 슬라이스를 사용해 와이크 상태를 관찰하고, 주변 프로브를 포함해 255-프로브 관찰을 형성할 수 있다.
• Q 스케일링으로 Q_max3D = 2 * Q_max2D를 사용해 정책 출력을 제트 작동으로 매핑하고, 환경당 순 질량 흐름을 보장하기 위해 반대 제트 동작을 강제한다.

Figure 1 : Non-dimensionalized configuration (reference cylinder diameter $D$ ). where $w$ is the jet width and $\Theta_{0}$ is the angular location of each jet. In green, we show the velocity condition for the inlet $U_{\rm{in}}$ and the sinusoidal profile in jets. This representation is not to sca

실험 결과

연구 질문

• RQ1 MARL이 지역적으로 작동하는 에이전트와 함께 3D 실린더의 다중 표면 제트를 제어해 다양한 Reynolds 수에서 항력을 감소시킬 수 있는가?
• RQ2 인접한 와이크 관찰 및 서로 다른 Spanwise 도메인 크기를 도입하는 것이 학습 및 성능에 어떤 영향을 미치는가?
• RQ3 2D 벤치마크와 비교했을 때 3D에서의 항력 감소 성능은 어떠하며, 와이크 역학이 정책 전략에 어떤 영향을 주는가?

주요 결과

Re	2D 벤치마크	W85	N85	N255
100	13.0	9.4	4.3	8.0
200	14.9	17.2	11.1	12.7
300	21.9	6.7	10.8	15.3
400	5.6	9.9	15.1	11.1

• MARL은 Re = 100, 200, 300, 400에서 Ljet/D = 1일 때 각각 9.4%, 17.2%, 6.7%, 9.9%의 항력 감소를 달성하는 등 3D 실린더 케이스에서 상당한 항력 감소를 달성한다.
• 더 짧은 제트(Ljet/D = 0.4)에서 로컬 관찰의 경우 항력 감소가 4.3%, 11.0%, 10.8%, 15.0%이고, 이웃이 관찰될 때는 8.0%, 12.7%, 15.2%, 11.0%이다.
• 3D 결과는 2D 대응 대비 더 높은 Re에서의 항력 감소 성능이 더 일관되게 나타나며, 일부 Re 의존적 변동이 있음에도 불구하고 이를 보인다.
• DRL 제어는 와류 shedding 강도를 약화시키고 와이크 재접합을 지연시켜 작용으로 인한 와이크 안정화 효과를 나타낸다.
• 정책은 스팬에 걸친 추출된, 동기화된 제트 전략을 보이며, 더 높은 Re에서 제트 길이와 관찰 정밀도를 달리하면 이점이 있을 수 있다.
• MARL 프레임워크는 가중치를 공유하는 의사-환경에서 학습을 가속화하고 다른 실린더 기하에 대한 전이 가능성을 제공한다.

Figure 2 : Training curves showing the reward in N255 case for $Re=100$ , $200$ , $300$ and $400$ (from top to bottom)