[논문 리뷰] Predictions of turbulent shear flows using deep neural networks

Prem A. Srinivasan, Luca Guastoni외 3명|arXiv (Cornell University)|2019. 05. 07.

Fluid Dynamics and Turbulent Flows인용 수 6

한 줄 요약

이 연구는 낮은 차수의 벽면 근처 난류 혼합류의 시간적 동역학을 예측하기 위해 딥 신경망을 평가한다. Moehlis 등 (2004)의 구속된 9차 방정식 혼합류 모델을 사용하여, 장기 기억 네트워크(LSTM)가 다층 퍼셉트론(MLP)보다 우수한 성능을 보였으며, 평균 및 변동 흐름 통계에서 각각 0.45% 및 2.49%의 상대 오차를 기록했고, 포incare 지도와 리아프노프 지수와 같은 복잡한 동역학적 행동을 정확히 재현하였다.

ABSTRACT

In the present work we assess the capabilities of neural networks to predict temporally evolving turbulent flows. In particular, we use the nine-equation shear flow model by Moehlis et al. [New J. Phys. 6, 56 (2004)] to generate training data for two types of neural networks: the multilayer perceptron (MLP) and the long short-term memory (LSTM) network. We tested a number of neural network architectures by varying the number of layers, number of units per layer, dimension of the input, weight initialization and activation functions in order to obtain the best configurations for flow prediction. Due to its ability to exploit the sequential nature of the data, the LSTM network outperformed the MLP. The LSTM led to excellent predictions of turbulence statistics (with relative errors of 0.45% and 2.49% in mean and fluctuating quantities, respectively) and of the dynamical behavior of the system (characterized by Poincaré maps and Lyapunov exponents). This is an exploratory study where we consider a low-order representation of near-wall turbulence. Based on the present results, the proposed machine-learning framework may underpin future applications aimed at developing accurate and efficient data-driven subgrid-scale models for large-eddy simulations of more complex wall-bounded turbulent flows, including channels and developing boundary layers.

연구 동기 및 목표

• 딥 신경망을 사용하여 난류 혼합류의 시간적 진화를 예측할 수 있는지의 가능성을 평가하기 위해.
• 난류 통계와 동역학적 행동을 포착하는 데 있어 다층 퍼셉트론(MLP)과 장기 기억 네트워크(LSTM) 네트워크의 성능을 비교하기 위해.
• 대규모 난류 시뮬레이션(LES)을 위한 복잡한 벽에 둘러싸인 유동에서 데이터 기반의 미세구조 스케일(SGS) 모델로서 신경망의 잠재력을 평가하기 위해.
• 기본적인 미분방정식(OED) 시스템을 푸는 것에 비해 훈련된 신경망의 계산 효율성을 평가하기 위해.
• 모르거나 복잡한 유동 동역학(예: LES 필터링 또는 유입 경계 조건 생성)으로의 기계학습의 확장 기반을 마련하기 위해.

제안 방법

• 훈련 데이터는 Moehlis 등 (2004)의 9차 방정식 혼합류 모델을 사용하여 생성되었으며, 이는 9개의 푸리에 모드 진폭을 통해 벽면 근처 난류를 모델링한다.
• 10,000개 이상의 난류 시계열이 4,000개의 시간 단위 동안 1단위 간격으로 시뮬레이션되어 훈련 및 검증 데이터셋을 구성하였다.
• 층수, 층당 뉴런 수, 입력 차원, 가중치 초기화 및 활성화 함수를 변화시킨 다양한 MLP 및 LSTM 네트워크 아키텍처를 테스트하였다.
• LSTM 아키텍처는 시계열 유동 데이터의 순차적 의존성을 모델링할 수 있는 능력 때문에 특별히 선택되었다.
• 네트워크 성능 평가에는 난류 통계(평균 및 변동량), 포incare 지도, 리아프노프 지수를 사용하였다.
• 계산 효율성은 9개의 ODE를 직접 통합하는 것과 비교하여 훈련된 네트워크의 예측 시간을 기준으로 평가하였다.

실험 결과

연구 질문

• RQ1 딥 신경망은 난류 혼합류의 저차수 모델의 시간적 동역학을 정확히 예측할 수 있는가?
• RQ2 LSTM 네트워크는 MLP에 비해 난류의 통계적 및 동역학적 특징을 얼마나 잘 포착하는가?
• RQ3 훈련된 신경망이 포incare 지도와 리아프노프 지수와 같은 복잡한 유동 행동을 어느 정도 정확히 재현할 수 있는가?
• RQ4 기본 ODE 시스템을 푸는 것에 비해 훈련된 신경망을 사용한 추론의 계산 비용은 얼마인가?
• RQ5 이 프레임워크는 더 복잡한 벽에 둘러싸인 유동의 대규모 난류 시뮬레이션을 위한 데이터 기반의 미세구조 스케일 모델 개발으로 확장될 수 있는가?

주요 결과

• LSTM 네트워크는 평균 유동 양에 대해 0.45%의 상대 오차를 기록하여 MLP보다 뚜렷이 뛰어난 성능을 보였다.
• LSTM 모델은 변동 양에 대해 2.49%의 상대 오차를 기록하여 강력한 통계적 정밀도를 입증하였다.
• LSTM은 시스템의 동역학적 행동, 특히 포incare 지도와 리아프노프 지수를 정확히 재현하여 올바른 혼돈 동역학을 반영하고 있음을 나타내었다.
• LSTM 네트워크는 난류 유동 진화에 내재된 순차적 및 시간적 의존성을 MLP보다 더 효과적으로 포착하는 데에 뛰어났다.
• 훈련 후 500개의 시계열을 생성하는 데 LSTM은 약 12분이 소요되었으며, ODE를 직접 푸는 데에는 6분이 걸려, 예측 오버헤드는 다소 있지만 수용 가능한 수준임을 시사하였다.
• 이 연구는 훈련된 신경망을 더 작고 효율적인 모델로 압축할 수 있음을 보여주어, 난류 모델링에서 실시간 또는 임베디드 응용 분야에 강력한 잠재력을 지닌다는 것을 시사한다.