[논문 리뷰] Deep Reinforcement Learning in Fluid Mechanics: a promising method for both Active Flow Control and Shape Optimization

Jean Rabault, Feng Ren외 3명|arXiv (Cornell University)|2020. 01. 08.

Model Reduction and Neural Networks참고 문헌 39인용 수 5

한 줄 요약

이 논문은 유체역학에서 고차원적, 비선형적, 비볼록적인 문제를 해결하는 데 전통적 방법이 어려운 상황에서 시도-오류 학습을 활용하는 딥 강화학습(DRL)이 활성 흐름 제어 및 형상 최적화 분야에서 유망한 접근법으로 부상하고 있음을 검토한다. 벤치마크 사례에서 DRL의 성공을 입증하며, 보상 함수 설계, 데이터 효율성, 제어 공간의 차원의 비극성과 같은 주요 과제를 강조한다.

ABSTRACT

In recent years, Artificial Neural Networks (ANNs) and Deep Learning have become increasingly popular across a wide range of scientific and technical fields, including Fluid Mechanics. While it will take time to fully grasp the potentialities as well as the limitations of these methods, evidence is starting to accumulate that point to their potential in helping solve problems for which no theoretically optimal solution method is known. This is particularly true in Fluid Mechanics, where problems involving optimal control and optimal design are involved. Indeed, such problems are famously difficult to solve effectively with traditional methods due to the combination of non linearity, non convexity, and high dimensionality they involve. By contrast, Deep Reinforcement Learning (DRL), a method of optimization based on teaching empirical strategies to an ANN through trial and error, is well adapted to solving such problems. In this short review, we offer an insight into the current state of the art of the use of DRL within fluid mechanics, focusing on control and optimal design problems.

연구 동기 및 목표

• 딥 강화학습(DRL)이 최적 제어 및 설계를 포함한 복잡한 유체역학 문제를 해결하는 데 잠재력을 지닌지 평가하는 것.
• 유체역학에 DRL을 적용할 때 발생하는 주요 과제, 즉 보상 함수 설계, 데이터 효율성, 고차원 제어 공간 등을 규명하는 것.
• 활성 흐름 제어 및 형상 최적화에 중점을 두고 현재 DRL 응용 사례에 대한 종합적인 개요를 제공하는 것.
• 분야의 보급과 혁신을 가속화하기 위해 다학제적 협업과 오픈소스 코드 공유의 중요성을 부각하는 것.
• 최적의 실현 방법과 핵심 구현 고려사항을 요약하여 연구자들이 DRL을 효과적으로 적용할 수 있도록 안내하는 것.

제안 방법

• DRL은 에이전트가 유체 환경과 상호작용하면서 누적 보상 신호를 최대화하는 데 목적이 있는 시도-오류 학습 프레임워크를 사용한다.
• 이 방법은 가치 함수를 근사하는 데 사용되는 하나의 딥 신경망(Q-네트워크)과 최적 정책을 학습하는 데 사용되는 다른 하나의 신경망(정책 네트워크)을 사용하며, Proximal Policy Optimization(PPO)와 같은 알고리즘에서처럼 구현된다.
• 유체 시뮬레이션에서 유도된 상태 표현(예: 속도장, 압력 분포)이 DRL 에이전트의 입력으로 사용되며, 행동은 제어 입력(예: 액추에이터 설정 또는 형상 파라미터)에 해당한다.
• 보상 함수는 드래그 감소나 흐름 안정화와 같은 원하는 결과로 에이전트를 이끌기 위해 철저히 설계된다. 이는 의도하지 않은 행동을 방지하기 위함이다.
• DRL 정책의 훈련 안정성과 수렴성을 향상시키기 위해 입력 데이터를 [−1, 1] 근처의 범위로 정규화하는 것이 적용된다.
• 데이터 요구량을 줄이기 위해 병렬 처리를 활용하며, 이는 더 큰 3D 및 고레이나르즈 수치의 흐름 문제로의 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 기존 최적화 방법으로는 해결이 어려운 복잡한 유체역학 문제의 최적 제어 및 설계 문제를 DRL이 효과적으로 해결할 수 있는가?
• RQ2 보상 형태 조정, 네트워크 아키텍처, 상태 표현과 같은 설계 선택 사항이 유체역학 응용에서 DRL 성능에 어떤 영향을 미치는가?
• RQ3 실제 유체 시스템에 DRL을 확장할 때의 주요 과제는 무엇이며, 특히 제어 공간의 차원의 비극성과 시뮬레이션에서 현실로의 전이 문제는 어떻게 다뤄질 수 있는가?
• RQ4 DRL이 다양한 흐름 구성 조건 간에 얼마나 일반화될 수 있으며, 전이 학습이나 도메인 랜덤라이제이션은 어떤 식으로 강건성을 향상시킬 수 있는가?
• RQ5 유체역학 공동체는 기존의 DRL 툴킷과 오픈소스 구현을 얼마나 활용해 연구를 가속화하고 개발 장벽을 낮출 수 있는가?

주요 결과

• DRL은 활성 흐름 제어 및 형상 최적화 분야의 벤치마크 문제에서 성공을 거두었으며, 비선형적, 비볼록적, 고차원적인 유체역학 문제를 다룰 수 있음을 입증했다.
• 보상 함수는 핵심 설계 요소이며, 잘못 정의된 보상은 에이전트가 알고리즘의 구멍을 악용하여 의도하지 않은 또는 최적화되지 않은 행동을 취하게 할 수 있다.
• 입력 데이터를 [−1, 1] 범위로 정규화하면 DRL 에이전트의 훈련 안정성과 수렴성에 상당한 기여를 한다.
• 데이터 집약적인 특성에도 불구하고 DRL은 자연스럽게 병렬 처리가 가능하므로, 충분한 컴퓨팅 자원이 확보되면 상당한 속도 향상을 이끌 수 있다.
• 제어 공간의 차원의 비극성은 여전히 주요 과제이지만, 시스템 내 공간 국소성과 물리적 불변성을 활용함으로써 완화될 수 있다.
• PPO를 구현한 오픈소스 DRL 프레임워크는 귀중한 자원이며, 공동체 차원의 코드 공유가 진입 장벽을 낮추고 진전을 가속화하기 위해 필수적이다.