[논문 리뷰] Recurrent neural networks and Koopman-based frameworks for temporal predictions in turbulence.

Hamidreza Eivazi, Luca Guastoni외 3명|arXiv (Cornell University)|2020. 05. 01.

Model Reduction and Neural Networks참고 문헌 45인용 수 5

한 줄 요약

이 논문은 저차원 근접벽 난류 모델에서 난류 역학을 예측하기 위해 장단기 기억(LSTM) 네트워크와 비선형 외력이 있는 새로운 쿠프만 기반 프레임워크(KNF)를 평가한다. 두 방법 모두 평균 및 변동 통계에서 1% 미만의 상대 오차를 달성하며, KNF는 더 낮은 계산 비용과 더 뛰어난 단기 예측 정확도를 제공한다. 통계 기반 손실 함수는 순순한 순간 예측에 대한 과적합을 방지함으로써 일반화 능력을 향상시킨다.

ABSTRACT

The prediction capabilities of recurrent neural networks and Koopman-based frameworks are assessed in the low-order model of near-wall turbulence by Moehlis et al. (New J. Phys. 6, 56, 2004). Our results show that it is possible to obtain excellent predictions of the turbulence statistics and the dynamic behavior of the flow with properly trained long-short-term memory (LSTM) networks, leading to relative errors in the mean and the fluctuations below $1\%$. Besides, a newly developed Koopman-based framework, called Koopman with nonlinear forcing (KNF), leads to the same level of accuracy in the statistics at a significantly lower computational expense. Furthermore, the KNF framework outperforms the LSTM network when it comes to short-term predictions. We also observe that using a loss function based only on the instantaneous predictions of the flow can lead to suboptimal predictions in terms of turbulence statistics. Thus, we propose a stopping criterion based on the computed statistics which effectively avoids overfitting to instantaneous predictions at the cost of deteriorated statistics. This suggests that a new loss function, including the averaged behavior of the flow as well as the instantaneous predictions, may lead to an improved generalization ability of the network.

연구 동기 및 목표

• 저차원 난류 역동성을 모델링하는 데 있어 순환 신경망과 쿠프만 기반 프레임워크의 예측 성능을 평가하는 것.
• LSTM 네트워크와 새로 제안된 비선형 외력이 있는 쿠프만(KNF) 프레임워크의 정확도와 계산 효율성을 비교하는 것.
• 순간 예측에만 기반한 손실 함수가 난류 통계의 정확도에 악영향을 미치는지 조사하는 것.
• 과적합을 방지하기 위해 통계적 지표를 기반으로 한 정지 기준을 개발하는 것.
• 순간 및 평균 유동 행동을 모두 포함하는 하이브리드 손실 함수의 잠재력을 탐색하는 것.

제안 방법

• 저차원 난류 모델의 시계열 데이터에서 시간적 역동성을 학습하기 위해 장단기 기억(LSTM) 네트워크를 사용하였다.
• 비선형 외력 항을 포함한 쿠프만 기반 프레임워크(KNF)를 개발하여 선형 쿠프만 연산자 이론을 비선형 역동성을 포착하기 위해 확장하였다.
• 기본 성능를 평가하기 위해 순순한 예측 오차에 기반한 표준 손실 함수를 사용하여 두 모델을 훈련시켰다.
• 훈련 중 평균 및 변동 통계를 모니터링하여 통계 정확도가 정체될 때 훈련을 중단하는 통계 기반 정지 기준을 도입하였다.
• 순간 예측과 장기적 통계적 행동을 모두 포함시켜 일반화 능력을 향상시키기 위해 수정된 손실 함수를 제안하였다.
• 정량적 지표를 사용하여 모델 성능을 평가하였다: 평균 및 제곱근 평균 제곱 변동의 상대 오차, 그리고 단기 예측 정확도.

실험 결과

연구 질문

• RQ1 LSTM 네트워크는 저차원 난류 모델에서 난류 통계와 역동적 행동을 고정밀도로 예측할 수 있는가?
• RQ2 제안된 비선형 외력이 있는 쿠프만(KNF) 프레임워크는 난류 통계와 단기 역동성을 예측하는 데 있어 LSTM 성능을 따라하거나 초월하는가?
• RQ3 순간 예측에만 기반한 손실 함수가 난류 통계 정확도에 얼마나 심각한 영향을 미치는가?
• RQ4 계산된 난류 통계를 기반으로 한 정지 기준은 임시 유동 상태에 대한 과적합을 효과적으로 방지할 수 있으며, 장기적 통계 정확도를 저하시키지 않는가?
• RQ5 순간 및 평균 유동 행동을 모두 포함하는 하이브리드 손실 함수는 모델의 일반화 능력을 향상시킬 수 있는가?

주요 결과

• LSTM 네트워크는 난류 모델의 평균 및 변동 통계에서 모두 1% 미만의 상대 오차를 달성하여 뛰어난 예측 정확도를 보였다.
• KNF 프레임워크는 LSTM과 동일한 통계 정확도를 달성하지만, 훨씬 낮은 계산 비용을 가지므로 더 효율적이다.
• KNF는 단기 예측 정확도에서 LSTM을 능가하여 일시적인 행동을 모델링하는 데 더 뛰어난 시간 역동성 처리 능력을 보였다.
• 순간 예측에만 기반한 손실 함수는 통계 정확도를 열등하게 만들며, 일시적인 유동 상태에 대한 과적합 위험이 있음을 시사한다.
• 계산된 난류 통계를 기반으로 한 정지 기준은 순간 예측에 대한 과적합을 효과적으로 방지하며 통계 무결성을 유지한다.
• 결과는 순간 및 평균 유동 행동을 모두 포함하는 하이브리드 손실 함수가 일반화 능력을 향상시킬 수 있으며, 더 견고한 예측 모델로 이어질 수 있는 길을 제시한다.