[논문 리뷰] Markov Neural Operators for Learning Chaotic Systems.

Zongyi Li, Nikola Kovachki외 5명|arXiv (Cornell University)|2021. 06. 13.

Model Reduction and Neural Networks참고 문헌 30인용 수 12

한 줄 요약

이 논문은 혼돈 시스템의 무한소 간격 시간 단계를 지배하는 마르코프 연산자를 학습하는 딥러닝 프레임워크인 마르코프 신경 연산자(MNO)를 소개한다. 이 학습된 연산자를 조합함으로써, 궤적의 발산 없이 장기적인 역학, 애트랙터, 불변 측도를 정확하게 예측할 수 있다. 이는 쿠라모토-시바시크스키 및 나비에-스톡스 방정식에서 이전 방법들보다 정확도와 안정성 면에서 뛰어나다.

ABSTRACT

Chaotic systems are notoriously challenging to predict because of their instability. Small errors accumulate in the simulation of each time step, resulting in completely different trajectories. However, the trajectories of many prominent chaotic systems live in a low-dimensional subspace (attractor). If the system is Markovian, the attractor is uniquely determined by the Markov operator that maps the evolution of infinitesimal time steps. This makes it possible to predict the behavior of the chaotic system by learning the Markov operator even if we cannot predict the exact trajectory. Recently, a new framework for learning resolution-invariant solution operators for PDEs was proposed, known as neural operators. In this work, we train a Markov neural operator (MNO) with only the local one-step evolution information. We then compose the learned operator to obtain the global attractor and invariant measure. Such a Markov neural operator forms a discrete semigroup and we empirically observe that does not collapse or blow up. Experiments show neural operators are more accurate and stable compared to previous methods on chaotic systems such as the Kuramoto-Sivashinsky and Navier-Stokes equations.

연구 동기 및 목표

• 초기 조건에 대한 지수적 민감성으로 인해 혼돈 시스템을 예측하는 데 도전하는 문제를 해결하기 위해.
• 혼돈 궤적이 저차원 애트랙터 위에 있으며, 이는 마르코프 연산자에 의해 지배된다는 사실을 활용하기 위해.
• 전체 궤적 오차를 피하기 위해 단일 단계 진화 역학만을 학습하는 신경 연산자를 개발하기 위해.
• 장기적인 시스템 행동을 유지하는 조합된 이산 세미군을 구성하기 위해.
• 붕괴나 폭주 없이 안정적이고 해상도에 영향을 받지 않는 혼돈 시스템 예측을 달성하기 위해.

제안 방법

• 이 방법은 혼돈 시스템의 무한소 간격 시간 단계 진화를 매핑하는 마르코프 연산자를 학습하는 신경 연산자를 훈련한다.
• 네트워크는 전적으로 지역적 단일 단계 역학에만 훈련되어, 궤적 전체를 예측하는 데에 사용되지 않는다.
• 학습된 마르코프 연산자는 반복적으로 조합되어 장기적인 진화를 시뮬레이션하며, 이는 이산 세미군을 형성한다.
• 이 프레임워크는 해상도에 영향을 받지 않아, 다양한 공간적 및 시간적 해상도 간의 일반화를 가능하게 한다.
• 반복적인 조합을 통해 시스템의 전반적 애트랙터와 불변 측도를 암묵적으로 학습한다.
• 아키텍처는 함수 공간에서 작동하는 신경 연산자에 기반하며, PDE를 해결하는 데 적합하다.

실험 결과

연구 질문

• RQ1 신경망은 단지 지역적 시간 단계 데이터로부터 혼돈 시스템의 마르코프 연산자를 학습할 수 있는가?
• RQ2 학습된 마르코프 연산자를 조합하면 궤적의 발산 없이 안정적이고 정확한 장기 예측이 가능한가?
• RQ3 이 방법은 지역 역학으로부터 시스템의 전반적 애트랙터와 불변 측도를 복원할 수 있는가?
• RQ4 마르코프 신경 연산자의 성능은 혼돈 PDE에서 표준 신경 연산자 및 기준 방법보다 어떻게 비교되는가?
• RQ5 이 방법은 해상도 변화에 강건하고 장기간 통합 시간 동안 수치적으로 안정적인가?

주요 결과

• 마르코프 신경 연산자는 전체 궤적 감독 없이도 단일 단계 진화 데이터로부터 기저의 마르코프 연산자를 성공적으로 학습한다.
• 조합된 연산자는 장기적인 시간 범위 동안 안정성을 유지하며 추론 중에 붕괴되거나 폭주하지 않는다.
• 쿠라모토-시바시크스키 및 나비에-스톡스 방정식에서 이전 방법들보다 더 높은 정확도를 달성한다.
• 예측된 애트랙터와 불변 측도는 기준 솔루션과 매우 유사하여 시스템 역학의 충실한 표현을 나타낸다.
• 이 프레임워크는 해상도에 영향을 받지 않아, 다양한 이산화 수준 간의 일반화를 가능하게 한다.
• 실험 결과는 표준 신경 연산자 및 기준 모델 대비 개선된 안정성과 예측 정밀도를 보여준다.