[논문 리뷰] Learning Dissipative Dynamics in Chaotic Systems

Zongyi Li, Miguel Liu-Schiaffini외 6명|arXiv (Cornell University)|2021. 06. 13.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 소산성 혼돈 시스템의 해 연산자를 학습하기 위해 마르코프 성질을 가진 신경 연산자(MNO)를 사용하는 기계학습 프레임워크를 제안한다. 이는 짧은 시간 동안의 궤도 예측과 장기적인 통계적 행동 포착을 가능하게 하며, 폭주나 붕괴를 방지하기 위해 소산성 조건을 강제로 적용하여 레이놀즈 수 5000까지 난류 코모고로프 유동에서 불변 측도의 고정밀도 예측을 달성한다.

ABSTRACT

Chaotic systems are notoriously challenging to predict because of their sensitivity to perturbations and errors due to time stepping. Despite this unpredictable behavior, for many dissipative systems the statistics of the long term trajectories are governed by an invariant measure supported on a set, known as the global attractor; for many problems this set is finite dimensional, even if the state space is infinite dimensional. For Markovian systems, the statistical properties of long-term trajectories are uniquely determined by the solution operator that maps the evolution of the system over arbitrary positive time increments. In this work, we propose a machine learning framework to learn the underlying solution operator for dissipative chaotic systems, showing that the resulting learned operator accurately captures short-time trajectories and long-time statistical behavior. Using this framework, we are able to predict various statistics of the invariant measure for the turbulent Kolmogorov Flow dynamics with Reynolds numbers up to 5000.

연구 동기 및 목표

• 초기 조건에 대한 민감성으로 인해 정확한 궤도 예측이 불가능한 혼돈적이고 소산성 시스템에서 장기적인 통계적 행동을 예측하는 데 도전하는 것.
• 혼돈적 PDE의 해 연산자를 학습하는 데이터 기반 프레임워크를 개발하여 소산성 구조와 불변 측도를 유지하는 것.
• 학습된 모델의 장기적 안정성을 확보하기 위해 소산성을 명시적으로 강제 적용함으로써, 이전에는 학습된 해 연산자에서 달성되지 못한 성질을 확보하는 것.
• 기존 방법이 실패하는 고레이놀즈수 난류 유동, 예를 들어 코모고로프 유동과 같은 시스템에서 이 방법의 효과성을 입증하는 것.
• 진짜 시스템의 소산성 특성을 물려받는 이론적으로 탄탄한 보편 근사 프레임워크를 제공하여 신경 연산자에 대한 보편적인 근사 프레임워크를 확립하는 것.

제안 방법

• 프레임워크는 고정된 짧은 시간 간격 h 동안의 초기 상태에서의 해로의 사전 지식을 사용하여, 국소 데이터만을 사용하여 마르코프 성질을 가진 신경 연산자(MNO)를 학습한다.
• MNO는 진짜 해 연산자 S_h를 근사하도록 훈련되며, 신경 연산자의 보편 근사 정리에 의해 오차 한계가 확립된다.
• 소산성이 강제로 적용되어 유계 집합이 컴act 부분집합으로 매핑되도록 MNO가 제약을 받음으로써 장기적 안정성과 안착점 수렴을 보장한다.
• 해 연산자는 진짜 시스템의 마르코프 반군 성질을 활용하여 반복적으로 조합되어 장시간 동역학을 시뮬레이션한다.
• 이 방법은 무한차원 함수 공간에서의 시간 진화를 모델링하기 위해 신경 연산자를 사용하여 PDE 동역학의 효율적 학습을 가능하게 한다.
• 미래의 방향으로 연속적 제시법을 제안하여 O(h) 오차율과 무한시간 근사 경계를 달성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습된 해 연산자가 혼돈적이고 소산성 PDE의 짧은 시간 궤도와 장기적인 통계적 성질을 모두 정확하게 포착할 수 있는가?
• RQ2 장시간 시뮬레이션에서 수치적 폭주나 붕괴를 방지하기 위해 소산성이 학습된 신경 연산자에 어떻게 명시적으로 강제 적용할 수 있는가?
• RQ3 신경 연산자가 코모고로프 유동과 같은 혼돈적 시스템의 불변 측도와 전역 안착점을 어느 정도 근사할 수 있는가?
• RQ4 혼돈 시스템의 본질적 불안정성에도 불구하고 이 프레임워크는 유한 시간 수평을 초월하여 증명 가능한 오차 경계를 가질 수 있는가?
• RQ5 MNO 프레임워크의 이론적 및 실증적 성능은 고레이놀즈수 난류 유동에서 어떻게 나타나는가?

주요 결과

• MNO 프레임워크는 레이놀즈 수 5000까지 난류 코모고로프 유동의 불변 측도를 고정밀도로 예측하여 장기적인 통계적 행동의 정확한 포착을 보여준다.
• 작은 오차가 반복적으로 누적되더라도 MNO는 폭주나 붕괴 없이 장시간 수평에서 안정성을 유지한다.
• 기존 수치적 해법보다 몇 개의 주기수 빠른 추론 속도를 달성하면서도 낮은 오차를 유지한다.
• 이론적 분석에 따르면 MNO는 진짜 시스템의 소산성 구조를 물려받을 수 있도록 구성될 수 있으며, 이는 전역 안착점 수렴을 보장한다.
• 실증 결과는 MNO가 정확한 궤도가 혼돈으로 인해 발산하더라도 진짜 안착점을 고정밀도로 근사함을 확인한다.
• 이 프레임워크는 증명 가능한 소산성 성질을 가진 데이터 기반의 원칙적인 접근법을 제공하며, 이 정의에 있어 이 분야에서 처음으로 달성된 성과이다.