[논문 리뷰] Model Reduction with Memory and the Machine Learning of Dynamical Systems

Chao Ma, Jianchun Wang외 1명|arXiv (Cornell University)|2018. 08. 10.

Model Reduction and Neural Networks참고 문헌 11인용 수 17

한 줄 요약

이 논문은 모리-ツ바니ーグ 형식에 영감을 받아, 동역학 시스템의 기억 효과를 포착하기 위해 순환 신경망(RNN)을 활용하는 새로운 모델 축소 프레임워크를 제안한다. 해상도가 낮은 응력 성분을 해결 변수의 이력으로부터 RNN을 훈련시켜, 쿠라모토-시바시킨 방정식과 나비에-스토크스 방정식에서 짧은 기간 예측과 장기적인 통계적 성질을 정확하게 구현하며, 기존의 스마고린스키 모델보다 뛰어난 성능을 보였다.

ABSTRACT

The well-known Mori-Zwanzig theory tells us that model reduction leads to memory effect. For a long time, modeling the memory effect accurately and efficiently has been an important but nearly impossible task in developing a good reduced model. In this work, we explore a natural analogy between recurrent neural networks and the Mori-Zwanzig formalism to establish a systematic approach for developing reduced models with memory. Two training models-a direct training model and a dynamically coupled training model-are proposed and compared. We apply these methods to the Kuramoto-Sivashinsky equation and the Navier-Stokes equation. Numerical experiments show that the proposed method can produce reduced model with good performance on both short-term prediction and long-term statistical properties.

연구 동기 및 목표

• 고차원 동역학 시스템의 축소 모델에서 기억 효과를 정확하고 효율적으로 모델링하는 데 오랫동안 해결되지 않은 과제를 해결하기 위해.
• RNN의 은닉 상태와 미해결 변수 표현 간의 유사성을 활용하여, 모리-츠바니그 형식을 현대 기계학습과 연결하기 위해.
• 단기 동역학과 장기적인 통계적 행동을 모두 유지하는 체계적이고 데이터 기반의 축소 모델을 개발하기 위해.
• 해결 변수의 이력으로부터 미해결 응력 성분을 학습하기 위한 두 가지 훈련 전략—직접 훈련과 역동적으로 결합된 훈련—을 비교하기 위해.

제안 방법

• 원래 PDE를 필터링하여 유도된 거시 척도 방정식을 사용해 축소 시스템을 수립하고, 해상도가 낮은 응력 항을 미해결 플럭스로 표현한다.
• 해상도가 낮은 응력을 이력에 기반한 장기 기억 항으로 모델링하기 위해, 이력에 있는 해상도가 높은 변수를 기반으로 훈련된 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 직접 훈련(응력에 맞추기)과 결합된 훈련(공동 최적화를 통한 해상도가 높은 변수에 맞추기)이라는 두 가지 훈련 전략을 구현한다.
• 공간 모드의 차원을 줄이기 위해 스펙트럼 필터링을 사용하고, 고차원 출력을 처리하기 위해 응력 성분별로 열 방향으로 LSTM을 훈련시킨다.
• 배치 크기가 64인 10⁵단계 동안 Adam 옵티마이저를 사용해 LSTM을 훈련시키며, 응력 예측을 위한 이력 길이를 20단계로 설정한다.
• 2D 시어 플로우에서 상대 오차, 상관계수를 사용해 성능을 검증하고, 스마고린스키 모델과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 RNN은 모리-츠바니그 형식에서 유도된 축소 모델에서 기억 효과를 효과적으로 모델링할 수 있는가?
• RQ2 직접 훈련과 결합된 훈련 전략은 동역학 시스템의 해상도가 낮은 응력 성분을 학습하는 데 있어 어떻게 비교되는가?
• RQ3 제안된 방법은 쿠라모토-시바시킨(K-S) 및 나비에-스토크스(N-S)와 같은 혼돈 시스템에서 단기 예측 정확도와 장기적인 통계적 성질을 모두 유지할 수 있는가?
• RQ4 RNN 기반 축소 모델의 성능은 대규모 난류 시뮬레이션에서 기존의 스마고린스키 모델과 비교해 어떻게 되는가?

주요 결과

• 직접 훈련 모델은 2D 시어 플로우 문제에서 테스트 오차 약 5%를 기록했으며, 훈련 오차는 3–4%로 감소했다.
• 예측된 응력과 진짜 응력 간의 상관계수는 대부분 영역에서 1에 가까웠지만, 경계 근처에서는 응력 값이 작고 예측이 어려워 상관계수가 낮았다.
• 수치 비교를 통해 RNN 기반 축소 모델이 진짜 해를 더 잘 추적하며 스마고린스키 모델보다 훨씬 낮은 편차를 보였다.
• 이 방법은 장기적인 통계적 성질을 성공적으로 포착했고, 장기간의 시뮬레이션 동안 정확도를 유지했다.
• 열 방향 LSTM 훈련 전략은 고차원 응력 출력을 효과적으로 처리했으며, 네트워크 크기가 기하급수적으로 증가하는 것을 방지했다.