[논문 리뷰] Multi-agent reinforcement learning for wall modeling in LES of flow over periodic hills

Di Zhou, Michael P. Whitmore외 2명|arXiv (Cornell University)|2022. 11. 29.

Fluid Dynamics and Turbulent Flows인용 수 4

한 줄 요약

이 논문은 주기적 언덕 위 난류 유동의 대규모 난류 시뮬레이션(Large-eddy simulation, LES)을 위한 다중 에이전트 강화학습(MARL) 기반 벽 모델을 제안한다. 지역 유동 상태를 사용하여 벽 난류 점성도를 최적화하고 벽 마찰응력을 예측한다. 이 모델은 고해상도 학습 데이터가 필요로 하지 않으며, 다양한 레이놀즈 수에서 평균 속도, 압력 및 마찰응력장을 보다 정확하게 포착하는 데서 전통적인 평형 벽 모델보다 뛰어난 성능을 보이며, 고압력 기울기 효과에 대해 강건함을 입증한다.

ABSTRACT

We develop a wall model for large-eddy simulation (LES) that takes into account various pressure-gradient effects using multi-agent reinforcement learning (MARL). The model is trained using low-Reynolds-number flow over periodic hills with agents distributed on the wall along the computational grid points. The model utilizes a wall eddy-viscosity formulation as the boundary condition, which is shown to provide better predictions of the mean velocity field, rather than the typical wall-shear stress formulation. Each agent receives states based on local instantaneous flow quantities at an off-wall location, computes a reward based on the estimated wall-shear stress, and provides an action to update the wall eddy viscosity at each time step. The trained wall model is validated in wall-modeled LES (WMLES) of flow over periodic hills at higher Reynolds numbers, and the results show the effectiveness of the model on flow with pressure gradients. The analysis of the trained model indicates that the model is capable of distinguishing between the various pressure gradient regimes present in the flow.

연구 동기 및 목표

• 복잡한 압력 기울기 효과에 적응할 수 있는 데이터 효율적인 LES용 벽 모델을 개발한다.
• 영압력 기울기 유동에서의 다중 에이전트 강화학습(MARL)을 주기적 언덕과 같은 강한 압력 기울기를 가진 유동으로 확장한다.
• 고해상도 시뮬레이션 데이터에 의존하지 않고, 지역 유동 상태와 벽 마찰응력 복구를 보상으로 사용하여 벽 모델을 훈련한다.
• 훈련에 사용된 레이놀즈 수보다 높은 레이놀즈 수에서의 벽 모델링 LES(WMLES)에서 모델 성능을 검증한다.
• 다른 유동 제도와 격자 해상도에서의 일반화 능력을 평가한다.

제안 방법

• 벽 인접 격점에 다수의 강화학습 에이전트를 분산 배치하여 국소적 벽 난류 점성도 조정을 학습한다.
• 각 에이전트는 국소 순순간 유동 양상(예: 유선 방향 속도, 변형률률)을 입력 상태로 사용하고, 벽 난류 점성도를 업데이트하기 위한 조치를 계산한다.
• 보상 함수는 예측된 벽 마찰응력의 정확도에 기반하며, 참값 데이터에 대해 수렴하도록 유도한다.
• MARL 프레임워크는 시간 차분 학습을 사용하여 에이전트 간 공유 정책을 훈련하고, 정확한 벽 응력 예측을 위한 장기 보상 최적화를 수행한다.
• 벽 모델은 표준 벽 마찰응력 경계 조건을 대체하는 벽 난류 점성도 형식으로 구현된다.
• 훈련은 저레이놀즈 수 주기적 언덕 유동에서 수행되며, 모델은 높은 레이놀즈 수의 WMLES 시뮬레이션에서 테스트된다.

실험 결과

연구 질문

• RQ1 MARL 기반 벽 모델은 주기적 언덕 위와 같은 강한 압력 기울기를 가진 유동에서 벽 마찰응력을 효과적으로 포착할 수 있는가?
• RQ2 MARL 벽 모델은 평균 속도 및 레이놀즈 응력 프로파일 예측에서 평형 벽 모델(EQWM)보다 어떻게 다를까?
• RQ3 훈련에 사용되지 않은 높은 레이놀즈 수로의 일반화 능력은 어느 정도인가?
• RQ4 MARL 모델은 흐름장에서 악성, 유리한 압력 기울기 제도를 구분할 수 있는가?
• RQ5 모델 성능은 격자 해상도와 소규모 스케일 모델 선택에 얼마나 민감한가?

주요 결과

• MARL 벽 모델은 훈련 레이놀즈 수에서 주기적 언덕의 LES에서 평균 벽 마찰응력, 평균 벽 압력 및 평균 속도 프로파일을 양호한 정확도로 예측한다.
• $Re_H = 10595$에서 MARL 모델은 분리 기포의 크기와 모양, 풍측면의 최대 벽 마찰응력 예측에서 EQWM보다 뛰어난 성능을 보인다.
• $Re_H = 19000$ 및 $37000$에서 모델은 평균 피부 마찰 계수에 대해 WRLES 데이터와 양호한 일치를 유지하지만, 레이놀즈 수가 증가함에 따라 성능이 약간 저하된다.
• $Re_H = 19000$에서의 굵은 격자 RLWM 시뮬레이션은 기준 격자보다 WRLES와 더 좋은 일치를 보이며, 격자 민감성의 가능성을 시사한다.
• 악성 및 유리한 압력 기울기 영역에서의 상태-행동 패tern이 다름을 통해 모델은 다양한 압력 기울기 제도를 구분할 수 있음을 보여준다.
• 고해상도 학습 데이터 없이도 모델이 향상된 예측 성능을 달성함으로써, 데이터 효율성과 물리 기반 학습 능력이 확인된다.