[논문 리뷰] Stable a posteriori LES of 2D turbulence using convolutional neural networks: Backscattering analysis and generalization to higher Re via transfer learning

Yifei Guan, Ashesh Chattopadhyay외 2명|arXiv (Cornell University)|2021. 02. 22.

Fluid Dynamics and Turbulent Flows인용 수 14

한 줄 요약

이 논문은 고정밀 직접 난류 시뮬레이션(DNS) 데이터로부터 하위망원 스케일(SGS) 강제항을 학습함으로써 안정적이고 정확한 시뮬레이션을 달성하는 2차원 붕괴 난류를 위한 딥 컨volution 신경망(CNN)-기반 사후 대류 난류 시뮬레이션(LES) 모델을 제안한다. 이 방법은 단지 새로운 유동 데이터의 1%를 사용하여 16배 높은 레이놀즈 수를 가진 유동으로 일반화할 수 있도록 전이 학습을 활용하며, 작은 훈련 데이터 세트에서의 열악한 역방향 에너지 전달(백스캐터링) 포착으로 인한 불안정성 문제를 해결한다.

ABSTRACT

There is a growing interest in developing data-driven subgrid-scale (SGS) models for large-eddy simulation (LES) using machine learning (ML). In a priori (offline) tests, some recent studies have found ML-based data-driven SGS models that are trained on high-fidelity data (e.g., from direct numerical simulation, DNS) to outperform baseline physics-based models and accurately capture the inter-scale transfers, both forward (diffusion) and backscatter. While promising, instabilities in a posteriori (online) tests and inabilities to generalize to a different flow (e.g., with a higher Reynolds number, Re) remain as major obstacles in broadening the applications of such data-driven SGS models. For example, many of the same aforementioned studies have found instabilities that required often ad-hoc remedies to stabilize the LES at the expense of reducing accuracy. Here, using 2D decaying turbulence as the testbed, we show that deep fully convolutional neural networks (CNNs) can accurately predict the SGS forcing terms and the inter-scale transfers in a priori tests, and if trained with enough samples, lead to stable and accurate a posteriori LES-CNN. Further analysis attributes these instabilities to the disproportionally lower accuracy of the CNNs in capturing backscattering when the training set is small. We also show that transfer learning, which involves re-training the CNN with a small amount of data (e.g., 1%) from the new flow, enables accurate and stable a posteriori LES-CNN for flows with 16x higher Re (as well as higher grid resolution if needed). These results show the promise of CNNs with transfer learning to provide stable, accurate, and generalizable LES for practical use.

연구 동기 및 목표

• 딥 러닝을 활용한 안정적이고 정확하며 일반화 가능한 데이터 기반 SGS 모델을 개발하기 위해.
• 제한된 데이터로 훈련된 데이터 기반 SGS 모델을 사용할 때 사후 LES의 불안정성 문제를 해결하기 위해.
• 사후 시뮬레이션 중 수치적 불안정성의 원인이 되는 백스캐터링 정확도의 역할을 규명하기 위해.
• 최소한의 추가 데이터로 전이 학습을 활용하여 더 높은 레이놀즈 수의 유동으로의 일반화를 가능하게 하기 위해.
• 사전 모델 정확도와 사후 시뮬레이션 안정성 사이의 연관성을 규명하기 위해.

제안 방법

• 완전 컨volution 신경망(CNN)이 DNS 스크래치샷을 기반으로 사전 방식으로 훈련되어, 해상도가 높은 유동장에서 SGS 강제항을 예측한다.
• 예측된 SGS 항과 진짜 SGS 항 간의 차이를 최소화함으로써, CNN은 전방 및 역방향 에너지 전달을 포함한 스케일 간 에너지 이행을 학습한다.
• 적절한 훈련 데이터로 역방향 에너지 전달을 정확히 포착함으로써 사후 LES의 안정성이 확보되며, 이는 수치적 안정성에 핵심적이다.
• 기존에 훈련된 CNN을 새로운 고레이놀즈 수 유동의 소규모 데이터셋(1%)으로 재훈련하여 전이 학습을 적용함으로써, 전체 재훈련 없이 모델을 적응시킨다.
• 동일한 아키텍처와 손실 함수를 활용하지만, 유동 통계 및 스케일에 적응하기 위해 오직 최종 레이어만 미세 조정한다.
• 일관된 격자 해상도와 초기 조건을 사용하여, 훈련 세트보다 16배 높은 레이놀즈 수를 가진 2차원 붕괴 난류에 대해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 데이터 기반 CNN 기반 SGS 모델이 2차원 붕괴 난류에서 안정적이고 정확한 사후 LES를 달성할 수 있는가?
• RQ2 소규모 데이터셋으로 훈련된 데이터 기반 SGS 모델을 사용할 때 사후 LES에서 발생하는 불안정성의 원인은 무엇인가?
• RQ3 백스캐터링 예측 정확도는 시뮬레이션 안정성과 어떤 관계가 있는가?
• RQ4 전이 학습을 통해 최소한의 추가 데이터로 더 높은 레이놀즈 수의 유동에 대해 정확하고 안정적인 LES를 달성할 수 있는가?
• RQ5 한 유동에서 훈련된 CNN이 상당히 다른 흐름 제도(예: 16배 높은 Re)로 일반화할 수 있는 정도는 어느 정도인가?

주요 결과

• 충분한 데이터로 훈련된 경우 CNN 모델은 사전 테스트에서 SGS 강제항과 스케일 간 에너지 이행을 높은 정확도로 예측한다.
• 사후 LES의 불안정성은 훈련 데이터가 제한되었을 때 역방향 에너지 전달 예측이 충분히 정확하지 못함으로 인해 주로 발생한다.
• 적절한 훈련 데이터가 확보된 경우 CNN 기반 LES는 장기간의 시뮬레이션 동안 안정적이고 정확하다.
• 전이 학습을 통해 새로운 흐름의 1% 데이터만으로도 16배 높은 레이놀즈 수의 유동에 대해 안정적이고 정확한 사후 LES를 달성할 수 있다.
• 전체 재훈련 없이도 모델이 고레이놀즈 수 유동으로 효과적으로 일반화되며, 강력한 전이 가능성(transferability)을 보여준다.
• 이 연구는 백스캐터링 정확도와 사후 안정성 사이의 직접적인 연관성을 규명하며, 강력한 데이터 기반 LES를 위한 길을 제시한다.