[논문 리뷰] DRLinFluids -- An open-source python platform of coupling Deep Reinforcement Learning and OpenFOAM

Qiulei Wang, Lei Yan외 6명|arXiv (Cornell University)|2022. 05. 25.

Model Reduction and Neural Networks참고 문헌 53인용 수 14

한 줄 요약

DRLinFluids는 딥 강화학습(DRL)과 OpenFOAM을 통합한 오픈소스 파이썬 플랫폼으로, 유체역학 응용 분야에서 효율적인 DRL 기반 주동 유동 제어를 가능하게 한다. 최소한의 하이퍼파rameter 튜닝으로도 원형 및 정사각형 실린더 유동에서 최대 13.6%의 항력 감소와 현저한 양력 억제를 달성한다.

ABSTRACT

We propose an open-source python platform for applications of Deep Reinforcement Learning (DRL) in fluid mechanics. DRL has been widely used in optimizing decision-making in nonlinear and high-dimensional problems. Here, an agent maximizes a cumulative reward with learning a feedback policy by acting in an environment. In control theory terms, the cumulative reward would correspond to the cost function, the agent to the actuator, the environment to the measured signals and the learned policy to the feedback law. Thus, DRL assumes an interactive environment or, equivalently, control plant. The setup of a numerical simulation plant with DRL is challenging and time-consuming. In this work, a novel python platform, named DRLinFluids is developed for this purpose, with DRL for flow control and optimization problems in fluid mechanics. The simulations employ OpenFOAM as popular, flexible Navier-Stokes solver in industry and academia, and Tensorforce or Tianshou as widely used versatile DRL packages. The reliability and efficiency of DRLinFluids are demonstrated for two wake stabilization benchmark problems. DRLinFluids significantly reduces the application effort of DRL in fluid mechanics and is expected to greatly accelerates academic and industrial applications.

연구 동기 및 목표

• 컴퓨테이셔널 유체역학(CFD) 시뮬레이션에 딥 강화학습(DRL)을 구현하는 데 소요되는 복잡성과 시간을 줄이기 위해.
• DRL 알고리즘의 최신 기술과 전통적인 유체역학 연구 간 격차를 해소하기 위해 OpenFOAM과의 원활한 통합을 가능하게 하기 위해.
• 학술 및 산업 응용 분야에서 DRL 기반 주동 유동 제어를 위한 확장 가능하고 사용자 친화적인 프레임워크를 제공하기 위해.
• 원형 및 정사각형 실린더와 같은 표준적인 흐름 구성에서 항력 감소 및 소용돌이 유출 억제를 포함한 벤치마크 유동 제어 문제를 통해 플랫폼의 신뢰성과 효율성을 입증하기 위해.

제안 방법

• 플랫폼은 DRL 에이전트에게 고정밀 상태 관측치를 제공하기 위해 OpenFOAM을 CFD 환경으로 사용하여 유동을 시뮬레이션한다.
• PPO 및 SAC와 같은 다양한 강화학습 알고리즘을 지원하기 위해 Tensorforce 및 Tianshou와 같은 DRL 백엔드와 통합된다.
• 실시간 제어 파ram터 업데이트를 위해 OpenFOAM 사전 파일을 동적으로 분석하고 수정하기 위해 정규표현식을 사용한다.
• OpenFOAM을 통한 CFD 시뮬레이션 병렬화와 다중 환경에서의 DRL 에피소드 수준의 고위 수준 병렬화를 지원함으로써 병렬 학습을 가능하게 한다.
• 항력 계수와 양력 계수를 동시에 최소화하도록 설계된 보상 함수를 통해 안정적이고 효율적인 제어 정책을 장려한다.
• 에이전트는 OpenFOAM 시뮬레이션 환경과의 연속적인 상호작용을 통해 피드백 정책을 학습하고, 누적 보상 최대화를 위해 정책 네트워크를 업데이트한다.

Figure 1: Interaction of agent and environment in reinforcement learning

실험 결과

연구 질문

• RQ1 통합적이고 오픈소스인 플랫폼이 유체역학 응용 분야에서 DRL과 OpenFOAM을 효과적으로 결합할 수 있는가?
• RQ2 DRLinFluids는 복잡하고 비선형적인 유체 시스템에서 주동 유동 제어를 위한 제어 정책을 얼마나 효율적으로 학습할 수 있는가?
• RQ3 DRLinFluids는 원형 및 정사각형 실린더와 같은 표준적인 흐름 구성에서 항력 감소와 소용돌이 유출 억제를 어느 정도 달성할 수 있는가?
• RQ4 다양한 DRL 알고리즘과 유동 기하구조에서 학습된 제어 정책은 얼마나 강건한가?
• RQ5 DRLinFluids를 사용할 경우 최소한의 하이퍼파rameter 튜닝으로도 어떤 정도의 성능 향상(예: 항력 감소)을 달성할 수 있는가?

주요 결과

• DRLinFluids는 Re = 100 조건에서 원형 실린더의 항력 최대 8% 감소와 정사각형 실린더의 항력 최대 13.6% 감소를 성공적으로 달성했다.
• 양력 변동은 매우 낮은 수준으로 억제되어 흐름 필드의 효과적인 안정화가 이루어졌음을 시사한다.
• PPO 및 SAC와 같은 다양한 DRL 알고리즘 간에서 일관된 제어 성능을 달성하여 강건성을 입증했다.
• 최적의 제어 정책은 자유류 흐름 대비 작은 제트 유속으로도 충분하며, 원형 실린더의 경우 0.58%, 정사각형 실린더의 경우 3.443%에 불과했다.
• CFD 시뮬레이션과 DRL 학습 에피소드를 모두 효율적으로 병렬화할 수 있어 복잡한 흐름에 대한 확장성을 지원한다.
• OpenFOAM 사전 파일을 조작하기 위해 정규표현식을 사용함으로써 DRL 에이전트와 CFD 솔버 간의 탄력적이고 신뢰할 수 있는 데이터 교환을 가능하게 했다.

Figure 2: Directory structure of an OpenFOAM case.