[논문 리뷰] Automating Turbulence Modeling by Multi-Agent Reinforcement Learning

Guido Novati, Hugues Lascombes de Laroussilhe외 1명|arXiv (Cornell University)|2020. 05. 18.

Fluid Dynamics and Turbulent Flows참고 문헌 33인용 수 15

한 줄 요약

이 논문은 난류의 대규모 난류 시뮬레이션(SGS) 모델을 자동으로 발견하기 위해 다중 에이전트 강화학습(MARL) 프레임워크를 소개한다. 직접 수치 시뮬레이션(DNS) 데이터의 스펙트럼 복원을 기반으로 한 보상 최적화를 통해 협력하는 에이전트를 훈련시킴으로써, 기존 방법보다 우수하고 다양한 격자 해상도와 레이놀즈 수에 걸쳐 일반화 가능한 적응형 SGS 모델을 학습한다.

ABSTRACT

The modeling of turbulent flows is critical to scientific and engineering problems ranging from aircraft design to weather forecasting and climate prediction. Over the last sixty years numerous turbulence models have been proposed, largely based on physical insight and engineering intuition. Recent advances in machine learning and data science have incited new efforts to complement these approaches. To date, all such efforts have focused on supervised learning which, despite demonstrated promise, encounters difficulties in generalizing beyond the distributions of the training data. In this work we introduce multi-agent reinforcement learning (MARL) as an automated discovery tool of turbulence models. We demonstrate the potential of this approach on Large Eddy Simulations of homogeneous and isotropic turbulence using as reward the recovery of the statistical properties of Direct Numerical Simulations. Here, the closure model is formulated as a control policy enacted by cooperating agents, which detect critical spatio-temporal patterns in the flow field to estimate the unresolved sub-grid scale (SGS) physics. The present results are obtained with state-of-the-art algorithms based on experience replay and compare favorably with established dynamic SGS modeling approaches. Moreover, we show that the present turbulence models generalize across grid sizes and flow conditions as expressed by the Reynolds numbers.

연구 동기 및 목표

• 기계적 직관에 의존하고 일반화가 어려운 전통적인 물리 기반 난류 모델의 한계를 극복하기 위해.
• 기존의 감독 기반 기계학습 접근법이 훈련 데이터를 초월할 때 일반화 실패를 보이는 난류 모델링 문제를 해결하기 위해.
• 강화학습을 활용해 효과적인 SGS 모델을 자동으로 발견하는 데이터 기반 프레임워크를 개발하기 위해.
• 다른 격자 해상도와 흐름 조건(예: 레이놀즈 수의 변화)을 통해 일반화되는 닫힘 모델의 발견을 가능하게 하기 위해.

제안 방법

• 각 에이전트가 공유된 제어 정책 $ \pi_{\mathbf{w}} $ 를 사용하여 격점에서 SGS 소산 계수 $ C_s^2 $ 를 추정하도록 다수의 에이전트를 배치한다.
• 각 에이전트의 상태 $ \mathbf{s}(\mathbf{x},t) $ 는 국소 유동 불변량(속도 기울기 및 헤시안 불변량)과 전역 유동 통계량(에너지 스펙트럼, 점성 및 총 소산률)의 조합으로 정의된다.
• LES 에너지 스펙트럼이 DNS 목표와 일치하는 정도를 기반으로 한 정규화된 로그우도의 보상 함수를 사용하여 다중 에이전트 강화학습 알고리즘으로 에이전트를 최적화한다.
• 경험 재생과 오프-폴리시 훈련을 사용하여 MARL 프레임워크 내에서 학습 안정성과 샘플 효율성을 향상시킨다.
• 보상 변형 두 가지를 도입: 하나는 스펙트럼 정확도에 중점을 두는 ($ r^{LL} $), 다른 하나는 물리적 일致성에 기여하는 게르만도 항등식을 포함하는 ($ r^G $).
• 유동 해소기인 CubismUP 3D 가 시뮬레이션 역학과 피드백을 제공하는 가운데, 스마티즈 RL 라이브러리를 사용해 정책을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 다중 에이전트 강화학습은 물리적 가정에 의존하지 않고 직접 수치 시뮬레이션의 통계적 성질을 재현하는 SGS 모델을 발견할 수 있는가?
• RQ2 MARL 기반 SGS 모델은 기존 모델 대비 다양한 격자 해상도와 레이놀즈 수에서 얼마나 잘 일반화되는가?
• RQ3 MARL 프레임워크는 스펙트럼 정확도 향상과 함께 게르만도 항등식을 만족하는 물리적으로 일관된 모델을 학습할 수 있는가?
• RQ4 정규화된 로그우도 기반 보상이 직접 확률 기반 보상보다 더 나은 최적화 안정성을 제공하는가?
• RQ5 MARL 기반 모델은 에너지 스펙트럼 복원 및 난류 통계 측면에서 기존의 동적 스마고린스키 모델과 표준 스마고린스키 모델을 초월할 수 있는가?

주요 결과

• MARL 기반 SGS 모델은 동적 스마고린스키 모델과 비교해 스펙트럼 정확도가 유사하거나 뛰어나며, 평균적으로 스펙트럼 오차가 10% 감소한다.
• 로그우도의 도함수를 포함한 $ r^{LL} $ 보상으로 훈련된 모델은 훈련 중 빠른 수렴과 향상된 안정성을 보였다.
• MARL 모델은 다양한 격자 크기와 레이놀즈 수에 걸쳐 효과적으로 일반화되며, 훈련 조건을 초월한 테스트에서도 정확한 에너지 스펙트럼을 유지한다.
• 보상에 게르만도 항등식을 포함시킨 $ r^G $ 는 물리적으로 일관된 모델을 생성하여 클리핑을 통해 비물리적인 음수 $ C_s^2 $ 값을 방지한다.
• 이 방법은 등방성 난류의 주요 통계적 성질, 즉 에너지 스펙트럼과 소산률을 복원하는 닫힘 모델을 성공적으로 학습했다.
• 프레임워크는 강화학습이 난류 모델링을 위한 실용적이고 자동화된 탐색 도구가 될 수 있음을 보여주며, 히우리스틱 또는 물리 기반 가정에 대한 의존도를 감소시킨다.