[논문 리뷰] On the use of recurrent neural networks for predictions of turbulent flows

Luca Guastoni, Prem A. Srinivasan외 3명|arXiv (Cornell University)|2020. 02. 04.

Model Reduction and Neural Networks참고 문헌 13인용 수 12

한 줄 요약

이 논문은 낮은 차수의 벽면 근처 난류 모델의 시간적 역학을 예측하기 위해 순환 신경망, 특히 장기 단기 기억(LSTM) 네트워크를 평가한다. Re=400에서 단순화된 아홉 모드 시스템을 사용하여, LSTMs가 평균 및 변동 속도 통계에서 1% 미만의 상대 오차를 기록하며, MLP 및 GRU보다 뛰어난 성능을 보였다. 특히 손실 함수에 통계적 지표를 포함시켜 훈련과 일반화를 향상시킬 경우 더욱 뛰어난 성능을 발휘하였다.

ABSTRACT

In this paper, the prediction capabilities of recurrent neural networks are assessed in the low-order model of near-wall turbulence by Moehlis {\it et al.} (New J. Phys. {\bf 6}, 56, 2004). Our results show that it is possible to obtain excellent predictions of the turbulence statistics and the dynamic behavior of the flow with properly trained long short-term memory (LSTM) networks, leading to relative errors in the mean and the fluctuations below $1\%$. We also observe that using a loss function based only on the instantaneous predictions of the flow may not lead to the best predictions in terms of turbulence statistics, and it is necessary to define a stopping criterion based on the computed statistics. Furthermore, more sophisticated loss functions, including not only the instantaneous predictions but also the averaged behavior of the flow, may lead to much faster neural network training.

연구 동기 및 목표

• 난류 비압축성 유동의 시간적 역학을 예측하기 위해 순환 신경망(RNN)을 사용할 수 있는지의 타당성을 평가하는 것.
• LSTM 네트워크가 저차수 모델에서 Poincaré 도표 및 리아프노프 지수와 같은 난류 통계 및 동역학적 특성을 정확히 재현할 수 있는지 평가하는 것.
• 특히 통계 평균을 포함한 손실 함수의 영향이 훈련 효율성과 예측 정확도에 미치는 영향을 조사하는 것.
• 제한된 훈련 데이터에서 LSTMs와 게이트형 순환 유닛(GRUs)이 난류 유동 통계를 얼마나 잘 포착하는지 비교하는 것.
• 예측의 정확성과 강건성을 높이기 위해 최적의 초모수, 즉 시간 단계 크기와 네트워크 아키텍처(예: 레이어 수, 뉴런 수, 시퀀스 길이)를 결정하는 것.

제안 방법

• 근접 벽면 난류의 저차수 모델로 아홉 개의 공간 모드를 사용하며, 이는 나비에-스토크스 방정식에 대한 갈레르킨 투영을 통해 유도되어 아홉 개인자연의 비선형 상미분방정식 시스템을 이룬다.
• 통계 수렴이 보장되도록, 훈련 및 검증을 위해 각각 4,000 단위 시간 동안의 10,000개 이상의 시간 시리즈가 생성된다.
• 장기 단기 기억(LSTM) 네트워크는 과거의 모드 진폭 시퀀스를 입력으로 사용하여 아홉 모드 진폭의 시간적 변화를 예측하도록 훈련된다.
• 손실 함수는 순순한 예측 오차 외에도 유속장의 평균 및 분산과 같은 통계 지표를 포함하도록 설계되었으며, 통계 오차 기준에 도달하면 훈련을 중단한다.
• 비교를 위해 다층 퍼셉트론(MLP) 및 게이트형 순환 유닛(GRU) 등의 대체 아키텍처도 평가된다.
• 모델 구현에는 텐서플로우를 사용하였으며, 초모수 최적화를 위해 CPU에서 훈련이 수행되었다.

실험 결과

연구 질문

• RQ1 LSTM 네트워크는 근접 벽면 난류의 저차수 모델에서 시간적 역학과 난류 통계를 정확히 예측할 수 있는가?
• RQ2 유동의 평균 및 분산과 같은 통계 평균을 포함한 손실 함수를 사용할 경우, 표준 순순한 예측 손실보다 수렴 속도가 빠르고 일반화 성능이 향상되는가?
• RQ3 LSTM은 GRU 및 MLP와 비교해 난류 통계 및 Poincaré 도표, 리아프노프 지수와 같은 동역학적 특성을 얼마나 잘 예측하는가?
• RQ4 예측 오차를 최소화하기 위해 최적의 시간 단계 크기와 네트워크 아키텍처(예: 레이어 수, 뉴런 수, 시퀀스 길이)는 무엇인가?
• RQ5 고급 손실 함수와 아키텍처 선택을 사용할 경우, 소규모 훈련 데이터(예: 100개의 시간 시리즈)로도 신뢰할 수 있는 예측을 얻을 수 있는가?

주요 결과

• 순순한 예측과 유동의 통계 평균을 모두 포함한 손실 함수로 훈련된 LSTM 네트워크는 평균 속도에 대해 0.26%의 상대 오차, 속도 변동에 대해 0.59%의 상대 오차를 기록하였다.
• 최고 성능을 보인 LSTM 구성(LSTM1–1–100)은 평균 및 변동 속도 통계에서 모두 1% 미만의 오차를 기록하였으며, 이는 MLP(3.21% 및 18.61% 오차) 및 GRU보다 뚜렷이 뛰어난 성능을 보였다.
• 순순한 예측 오차에 기반한 손실 함수로만 훈련할 경우 통계 정확도가 열악해지므로, 최적의 성능을 내기 위해 통계 오차 지표를 기반으로 한 정지 기준이 필수적이다.
• 통계 행동을 포함한 더 정교한 손실 함수는 제한된 데이터 조건에서도 훈련 속도를 가속화하고 일반화 성능을 향상시킨다.
• GRU는 파rameter 수가 적고 계산 비용은 유사하지만, 소규모 데이터셋에서 상당히 높은 통계 오차를 보이며 비물리적인 행동을 보여, 이 작업에 있어서 LSTM보다 덜 적합하다.
• 네트워크 성능에 최적의 시간 단계 크기는 Δt = 1이며, 더 큰 단계는 예측 정확도를 떨어뜨린다.