[논문 리뷰] Turbulence closure modeling with data-driven techniques: Investigation of generalizable deep neural networks

Salar Taghizadeh, Freddie Witherden외 2명|arXiv (Cornell University)|2021. 02. 02.

Model Reduction and Neural Networks참고 문헌 114인용 수 26

한 줄 요약

이 연구는 단순화된 대체물리 터뷸런스 모델을 사용하여 RANS 수준에서 완전히 연결된 딥 뉴럴 네트워크(DNN)의 일반화 능력을 조사한다. 광범위한 하이퍼파rameter 튜닝에도 불구하고, DNN는 정상적인 정확도를 달성하기 위해 진짜 모델보다 훨씬 더 많은 파라미터가 필요하며, 외삽 시 성능이 급격히 악화된다—특히 비선형성과 분기 현상이 존재할 경우, 이는 실제 응용에서 데이터 기반 RANS 모델에 대한 근본적인 과제를 드러낸다.

ABSTRACT

Generalizability of machine-learning (ML) based turbulence closures to accurately predict unseen practical flows remains an important challenge. At the Reynolds-averaged Navier-Stokes (RANS) level, NN-based turbulence closure modeling is rendered difficult due to two important reasons: inherent complexity of the constitutive relation arising from flow-dependent non-linearity and bifurcations; and, inordinate difficulty in obtaining high-fidelity data covering the entire parameter space of interest. In this context, the objective of the work is to investigate the approximation capabilities of standard moderate-sized fully-connected NNs. We seek to systematically investigate the effects of: (i) intrinsic complexity of the solution manifold; (ii) sampling procedure (interpolation vs. extrapolation) and (iii) optimization procedure. To overcome the data acquisition challenges, three proxy-physics turbulence surrogates of different degrees of complexity (yet significantly simpler than turbulence physics) are employed to generate the parameter-to-solution maps. Even for this simple proxy-physics system, it is demonstrated that feed-forward NNs require more degrees of freedom than the original proxy-physics model to accurately approximate the true model even when trained with data over the entire parameter space (interpolation). Additionally, if deep fully-connected NNs are trained with data only from part of the parameter space (extrapolation), their approximation capability reduces considerably and it is not straightforward to find an optimal architecture. Overall, the findings provide a realistic perspective on the utility of ML turbulence closures for practical applications and identify areas for improvement.

연구 동기 및 목표

• RANS 시뮬레이션에서 난류 폐쇄 모델링을 위한 데이터 기반 딥 뉴럴 네트워크(DNN)의 일반화 능력을 평가하기 위해.
• 내재된 해의 다양체 복잡도, 샘플링 전략(내삽 대 비내삽), 최적화 절차가 DNN 성능에 미치는 영향을 조사하기 위해.
• 중간 크기의 완전히 연결된 DNN이 복잡하고 비선형적이며 분기하는 난류 구성 관계를 정확하게 근사할 수 있는지 평가하기 위해.
• 특히 데이터 부족과 비선형성 상황에서 DNN 훈련 시의 주요 과제를 규명하기 위해.
• 미래의 공 ingeneering 유형의 난류 흐름에 대한 기계학습 강화 RANS 모델의 실용적 타당성을 현실적으로 평가하기 위해.

제안 방법

• 비선형성 없이 분기 없음, 약간의 비선형성과 분기, 중간 정도의 비선형성과 분기를 포함하는 복잡도가 점차 증가하는 세 가지 대체물리 터뷸런스 모델을 사용하여 파라미터-해 맵을 생성하였다.
• 고정밀도 데이터는 SSG 모델을 사용한 약간의 레이놀즈 스트레스 모델(ARSM)을 통해 다양한 파라미터 영역에서의 난류 거동을 시뮬레이션하여 생성되었다.
• 로컬 최적 구성(configuration)을 식별하기 위해 활성화 함수, 네트워크 깊이, 너비, 학습률, 배치 크기, 옵티마이저, 정규화 계수 등에 대한 브루트 포스 하이퍼파rameter 스윕을 수행하였다.
• 완전히 연결된 전방향 DNN은 Adam, RMSProp 등의 확률적 최적화 방법과 L2 정규화를 사용하여 훈련되었으며, 훈련 및 테스트 세트에서 평균 절대 퍼센트 오차(MAPE)를 통해 성능을 평가하였다.
• 일반화 능력을 테스트하기 위해 부분적인 파라미터 영역에서 훈련하고, 새로운 영역에서 평가함으로써 실제 운영 환경 시나리오를 시뮬레이션하였다.
• 개별 하이퍼파rameter의 영향을 분리하기 위해 체계적인 아블레이션 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 중간 크기의 완전히 연결된 DNN는 RANS 모델에서 복잡하고 비선형적이며 분기하는 난류 구성 관계를 정확하게 근사할 수 있는가?
• RQ2 해의 다양체의 내재적 복잡도(비선형성 및 분기)는 DNN의 근사 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ3 훈련 데이터 샘플링 전략(내삽 대 비내삽)은 DNN의 일반화 성능에 어떤 영향을 미치는가?
• RQ4 하이퍼파rameter 선택(활성화 함수, 학습률, 배치 크기, 옵티마이저, 정규화)은 DNN 기반 난류 모델의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 비선형성과 분기를 포함한 상황에서 체계적인 하이퍼파rameter 스윕을 통해 로컬 최적의 DNN 아키텍처를 신뢰성 있게 식별할 수 있는가?

주요 결과

• 전체 파라미터 영역에 대한 내삽 조건에서도 DNN는 정상적인 정확도를 확보하기 위해 진짜 대체물리 모델보다 훨씬 더 많은 자유도를 요구하여 높은 모델 복잡도 오버헤드를 보였다.
• 파라미터 영역의 일부만으로 훈련한 경우(DNN의 외삽), 성능이 크게 악화되었으며, 일부 사례에서는 테스트 MAPE가 10%를 초과하였다.
• 해의 다양체에서 비선형성과 분기가 동시에 존재할 경우 가장 높은 테스트 오차가 발생했으며, ReLU와 시그모이드 활성화 함수는 최적 튜닝 시 각각 8.53%와 4.39%의 MAPE를 기록하였다.
• 활성화 함수 중에서 시그모이드는 더 큰 네트워크 아키텍처와 조합할 경우 가장 낮은 테스트 MAPE(4.39%)를 달성했으며, Leaky-ReLU와 Tanh는 더 높은 오차(11.60% 및 12.03%)를 보였다.
• 최적 하이퍼파rameter는 문제의 구조에 민감하게 반응했다: 시그모이드 활성화 함수를 사용한 네트워크의 경우 학습률 1e-3, 배치 크기 50, L2 정규화 λ=0.1 조합이 가장 좋은 성능을 보였다.
• 본 연구는 일반화 실패가 단지 데이터 부족 때문이 아니라, 특히 분기 현상이 있는 경우 기하학적 및 위상적 복잡도와 깊이 연관되어 있음을 입증하였다.