[논문 리뷰] Deep Reinforcement Learning achieves flow control of the 2D Karman Vortex Street

Jean Rabault, Ulysse Reglade외 3명|arXiv (Cornell University)|2018. 08. 31.

Model Reduction and Neural Networks참고 문헌 17인용 수 3

한 줄 요약

이 논문은 Re=100에서 원통 뒤의 2차원 카르만 소용리줄기에서 딥 강화학습(DRL)이 성공적으로 능동 유동 제어를 달성할 수 있음을 보여준다. 합성 제트를 제어하기 위해 딥 신경망(DANN)을 훈련시킴으로써, 이 방법은 평균적으로 유입 질량 유량의 0.35%에 불과한 매우 낮은 작동 에너지로 약 8%의 항력 감소를 이끌어내며, 소용리줄기의 발생을 억제한다.

ABSTRACT

The Karman Vortex Street has been investigated for over a century and offers a reference case for investigation of flow stability and control of high dimensionality, non-linear systems. Active flow control, while of considerable interest from a theoretical point of view and for industrial applications, has remained inaccessible due to the difficulty in finding successful control strategies. Here we show that Deep Reinforcement Learning can achieve a stable active control of the Karman vortex street behind a two-dimensional cylinder. Our results show that Deep Reinforcement Learning can be used to design active flow controls and is a promising tool to study high dimensionality, non-linear, time dependent dynamic systems present in a wide range of scientific problems.

연구 동기 및 목표

• 딥 강화학습(DRL)이 2차원 카르만 소용리줄기와 같은 고차원적이고 비선형적인 유체 시스템에서 안정적인 능동 유동 제어를 달성할 수 있는지 조사하는 것.
• 감소된 순서 모델에 의존하지 않고, DRL로 훈련된 인공 신경망을 사용하여 복잡한 유체 흐름의 제어 전략을 설계할 수 있는지 평가하는 것.
• 강한 비선형성과 불안정성이 있는 시스템에서도 최소한의 에너지 입력으로 효과적인 제어 정책을 DRL이 발견할 수 있는지 보여주는 것.
• DRL이 유체역학 및 그 외 분야의 복잡한 동역학 시스템을 연구하고 제어하는 일반적인 도구로 활용될 잠재력을 탐색하는 것.

제안 방법

• Re=100에서 원통 주위의 유동을 모델링하기 위해 2차원 비압축성 나비에-스토크스 시뮬레이션을 사용하였으며, 표준 벤치마크 설정을 따르였다.
• 원통 측면에 각각 10°의 각도 폭을 가진 두 개의 합성 제트를 설치하여 표면에 수직으로 유체를 주입하였으며, 순질량 유량이 0이 되도록 설정(Q₁ + Q₂ = 0).
• 소용리줄기 발생을 억제하기 위해 항력(D)과 양력(L)의 변동을 최소화하는 데 기반한 보상 함수를 사용하여 딥 Q-네트워크(DQN) 에이전트를 훈련시켰다.
• DRL 에이전트는 순순간 유동 상태를 관측하고, 누적 할인 보상을 최대화하기 위해 제어 조치(질량 유량 Q₁, Q₂)를 선택하였다.
• 시간 차분 학습을 사용하여 네트워크가 관측된 상태 전이와 보상에 기반해 가중치를 업데이트함으로써, 전체적인 엔드 투 엔드 학습을 수행하였다.
• 감소된 순서 모델이나 애드조인트 기반 최적화에 의존하지 않아, 전체 나비에-스토크스 시스템에 직접 제어를 적용할 수 있었다.

실험 결과

연구 질문

• RQ1 딥 강화학습(DRL)은 2차원 카르만 소용리줄기와 같은 고차원적이고 비선형적인 유체 시스템에서 능동 유동 제어를 위한 제어 정책을 효과적으로 학습할 수 있는가?
• RQ2 DRL 에이전트는 얼마나 낮은 작동 에너지로 항력 감소와 소용리줄기 억제를 달성할 수 있는가?
• RQ3 DRL 에이전트의 제어 전략은 원통 뒤의 평균 압력 분포와 순환 영역에 어떤 영향을 미치는가?
• RQ4 초기 일시적인 단계 이후에 작은 간헐적인 제어 입력만으로 DRL 에이전트가 새로운 유동 구성을 안정화시킬 수 있는가?
• RQ5 DRL 기반 제어는 제어 신호의 미세한 변동에 대해 강건한가? 이는 제어된 상태의 민감도에 대해 어떤 의미를 갖는가?

주요 결과

• DRL 에이전트는 기준 비제어 유동 대비 약 8%의 항력 감소를 달성하였다.
• 소용리줄기의 변동은 거의 억제되었으며, 제어된 경우 시간에 따른 항력 계수(C_D)의 진동이 크게 감소한 것으로 나타났다.
• 제어 전략은 원통 뒤의 순환 기포의 크기를 증가시키고 압력 분포를 변화시켜 항력 감소의 물리적 메커니즘을 제공하였다.
• DRL 에이전트는 매우 낮은 작동 수준을 사용하였으며, 평균 정규화 질량 유량은 최소 0.005에 불과했고, 정상 상태에서 유입 질량 유량의 0.35%에 해당했다.
• 두 단계 제어 행동이 관찰되었다: 강한 제어(최대 ±0.02 정규화 유량)를 보이는 짧은 초기 일시적 단계와, 최소한의 제어로 유지되는 가상의 주기적 단계.
• 시스템은 제어 펄스에 매우 민감했다—제어 신호의 약간의 변화만으로도 활성 제어 상태가 붕괴되었으며, 좁고 안정된 작동 지점이 존재함을 시사했다.