[논문 리뷰] Turbulence closure with small, local neural networks: Forced two-dimensional and $β$-plane flows

Kaushik Srinivasan, Mickaël D. Chekroun외 1명|arXiv (Cornell University)|2023. 04. 11.

Fluid Dynamics and Turbulent Flows인용 수 5

한 줄 요약

이 논문은 고레이놀즈수(Re ~ 25,000)에서 강제된 2차원 및 β-평면 난류에서 미세구조 스케일(SGS) 유량을 모델링하기 위해 약 1,000개의 파arameter를 가진 소형 이중층 컨볼루션 신경망(CNN)을 사용한 난류 폐쇄 방법을 제안한다. 고해상도 데이터에서 학습하고 SGS 비선형성의 발산을 최소화함으로써, 16배의 해상도 감소에서도 안정적이고 정확한 장기 시뮬레이션을 달성한다. 사이클릭 학습률 안내 및 하이퍼파rameter 최적화를 통해 학습 효율성과 강건성을 향상시켰으며, 기억 항목이나 에너지 제약 없이도 얕고 局소 반응성이 높은 네트워크가 SGS 역학을 효과적으로 포착할 수 있음을 보여준다.

ABSTRACT

We parameterize sub-grid scale (SGS) fluxes in sinusoidally forced two-dimensional turbulence on the $β$-plane at high Reynolds numbers (Re$\sim$25000) using simple 2-layer Convolutional Neural Networks (CNN) having only O(1000)parameters, two orders of magnitude smaller than recent studies employing deeper CNNs with 8-10 layers; we obtain stable, accurate, and long-term online or a posteriori solutions at 16X downscaling factors. Our methodology significantly improves training efficiency and speed of online Large Eddy Simulations (LES) runs, while offering insights into the physics of closure in such turbulent flows. Our approach benefits from extensive hyperparameter searching in learning rate and weight decay coefficient space, as well as the use of cyclical learning rate annealing, which leads to more robust and accurate online solutions compared to fixed learning rates. Our CNNs use either the coarse velocity or the vorticity and strain fields as inputs, and output the two components of the deviatoric stress tensor. We minimize a loss between the SGS vorticity flux divergence (computed from the high-resolution solver) and that obtained from the CNN-modeled deviatoric stress tensor, without requiring energy or enstrophy preserving constraints. The success of shallow CNNs in accurately parameterizing this class of turbulent flows implies that the SGS stresses have a weak non-local dependence on coarse fields; it also aligns with our physical conception that small-scales are locally controlled by larger scales such as vortices and their strained filaments. Furthermore, 2-layer CNN-parameterizations are more likely to be interpretable and generalizable because of their intrinsic low dimensionality.

연구 동기 및 목표

• 고레이놀즈수 2차원 및 β-평면 난류에서 계산 비용이 적고 안정적인 난류 폐쇄를 최소한의 신경망으로 개발하기 위해.
• 깊은 아키텍처나 기억 항목이 필요 없이 얕고 국소적인 CNN이 SGS 응력에 정확하게 파rameter화할 수 있는지 조사하기 위해.
• 특히 사이클릭 학습률 안내 및 하이퍼파rameter 검색과 같은 최적화 기법이 온라인 대규모 난류 시뮬레이션(LES) 환경에서 모델의 안정성과 정확도에 미치는 영향을 평가하기 위해.
• 粗역도 속도, 코어리오티, 그리고 변형장에 대한 의존성 분석을 통해 소형 CNN의 물리적 해석 가능성과 일반화 능력을 평가하기 위해.
• 에너지 또는 에너지보존 법칙을 강제로 적용하지 않고도 폐쇄가 달성될 수 있는지 테스트하기 위해, 기존 SGS 모델링에서의 일반적인 가정에 도전하기 위해.

제안 방법

• 2층 컨볼루션 신경망(CNN)이 속도, 코어리오티, 변형장 등과 같은 거시적 입력에서 비대칭 응력 텐서 $\boldsymbol{S}_d$를 예측하도록 학습된다.
• 손실 함수는 고해상도 해석기에서 계산된 SGS 비선형성의 발산과 CNN이 예측한 SGS 비선형성의 발산 간의 차이를 최소화하며, 에너지나 에너지보존 법칙을 강제로 적용하지 않는다.
• 학습 안정성과 수렴성을 향상시키기 위해 사이클릭 학습률 안내 기법을 사용한다. 이는 고정된 학습률 설정에 대한 민감도를 감소시킨다.
• 학습률 및 가중치 감쇠 계수 공간에서 포괄적인 하이퍼파rameter 그리드 검색을 수행하여 모델 성능을 최적화한다.
• 모델은 오프라인(저장된 데이터 기반) 및 온라인(실시간 시뮬레이션) 평가를 통해 대규모 난류 시뮬레이션에서 장기적인 정확성과 안정성을 평가한다.
• 아키텍처는 국소 반응성을 반영하도록 설계되었으며, 이는 소규모 응력이 주로 근처의 대규모 구조(예: 소용돌이 및 그에 따른 압축된 필라멘트)에 의해 영향을 받는다는 물리적 직관을 반영한다.

Figure 1. Snapshots after $t$ = 2 $\times 10^{6}\Delta t$ for $\beta=0$ of a) DNS vorticity $\omega$ b) Filtered DNS vorticity, $\bar{\omega}$ c) SGS vorticity field, $\omega^{\prime}=\omega-\bar{\omega}$ d) SGS stress divergence, $\Pi$ . Same for e)-f) but for $\beta=20$ ; note the jets along the $

실험 결과

연구 질문

• RQ1 약 1,000개의 파arameter를 가진 얕고 이중층 CNN이 고레이놀즈수 2차원 및 β-평면 난류에서 SGS 응력을 정확하게 파arameter화할 수 있는가?
• RQ2 고정된 학습률 대비 사이클릭 학습률 안내 기법이 온라인 대규모 난류 시뮬레이션 실행의 강건성과 정확도에 뚜렷한 향상을 이끌어내는가?
• RQ3 SGS 응력 텐서가 거시적 필드에 얼마나 국소적으로 의존하는가? 이러한 국소성은 모델 복잡도를 줄이고 해석 가능성을 향상시키는 데 활용될 수 있는가?
• RQ4 손실 함수에서 에너지나 에너지보존 법칙을 강제로 적용하지 않더라도 정확한 난류 폐쇄가 달성될 수 있는가?
• RQ5 얕은 CNN의 성공이 모리-츠반직 형식의 기억 항목이 이 유형의 난류 유동에 필요하지 않음을 시사하는가?

주요 결과

• 제안된 2층 CNN은 약 1,000개의 파arameter를 가진 상태에서 Re ~ 25,000에서 강제된 2차원 및 β-평면 난류에서 16배 해상도 감소에서도 안정적이고 정확한 장기 온라인 시뮬레이션을 달성한다.
• 사이클릭 학습률 안내 기법은 학습 안정성과 모델 정밀도를 크게 향상시키며, 오프라인 및 온라인 환경 모두에서 고정 학습률 스케줄링보다 뛰어난 성능을 보인다.
• 에너지나 에너지보존 법칙을 강제로 적용하지 않아도 높은 정확도를 달성함으로써, 이 영역에서는 이러한 제약 조건이 효과적인 폐쇄를 위해 필수적이지 않다는 것을 시사한다.
• 얕고 국소 반응성이 높은 네트워크의 성공은 SGS 응력이 거시적 필드에 대해 약한 비국소적 의존성을 가지며, 소규모 역학이 주로 국소적인 대규모 구조에 의해 지배된다는 것을 지지한다.
• 모델 성능은 미해결 변수의 조건부 기대값이 거시 변수에 의해 근사되는 CNN에 의해 효과적으로 폐쇄될 수 있음을 보여주며, Chekroun 등(2020)의 최적 파라미터 맨포ลด(optimally parameterizing manifold, OPM) 개념과 일치한다.
• 결과적으로, 이 유형의 난류 유동에 대해 모리-츠반직 형식의 기억 항목이 필요하지 않다는 점을 도전하며, 거시적 변수에 대한 잘 훈련된 저차원 비선형 기능이 정확한 폐쇄에 충분하다는 것을 시사한다.

Figure 2. $x$ - and $y$ -sections of the spatial cross-correlations between $\Pi$ and the resolved vorticity field, $\bar{\omega}$ . For $\beta=0$ , the correlations along both directions are nearly symmetric so only one of them is shown. For finite $\beta$ , the cross-jet correlation length (along