[논문 리뷰] Data-driven Prediction of General Hamiltonian Dynamics via Learning Exactly-Symplectic Maps

Renyi Chen, Molei Tao|arXiv (Cornell University)|2021. 03. 09.

Model Reduction and Neural Networks참고 문헌 46인용 수 19

한 줄 요약

이 논문은 생성 함수를 파arameterizing하는 신경망을 통해 정확히 심플렉틱 맵을 학습하는 데이터 기반 방법 GFNN을 제안한다. 이는 기하학적 구조의 유지보장을 보장하며, 벡터장 기반 방법과는 달리 진화 맵을 직접 모델링함으로써 지수적 누적과는 달리 선형 전역 오차 증가를 달성한다. 이는 통합 및 혼돈이 있는 해밀턴 시스템 모두에서 뛰어난 정확도를 보인다.

ABSTRACT

We consider the learning and prediction of nonlinear time series generated by a latent symplectic map. A special case is (not necessarily separable) Hamiltonian systems, whose solution flows give such symplectic maps. For this special case, both generic approaches based on learning the vector field of the latent ODE and specialized approaches based on learning the Hamiltonian that generates the vector field exist. Our method, however, is different as it does not rely on the vector field nor assume its existence; instead, it directly learns the symplectic evolution map in discrete time. Moreover, we do so by representing the symplectic map via a generating function, which we approximate by a neural network (hence the name GFNN). This way, our approximation of the evolution map is always \emph{exactly} symplectic. This additional geometric structure allows the local prediction error at each step to accumulate in a controlled fashion, and we will prove, under reasonable assumptions, that the global prediction error grows at most \emph{linearly} with long prediction time, which significantly improves an otherwise exponential growth. In addition, as a map-based and thus purely data-driven method, GFNN avoids two additional sources of inaccuracies common in vector-field based approaches, namely the error in approximating the vector field by finite difference of the data, and the error in numerical integration of the vector field for making predictions. Numerical experiments further demonstrate our claims.

연구 동기 및 목표

• 심플렉틱 맵, 특히 해밀턴 시스템에 의해 생성된 비선형 시계열을 예측하기 위한 데이터 기반 방법을 개발하는 것.
• 유한차분 근사 오차와 수치적 적분 오차로 인해 문제가 되는 벡터장 기반 학습 방법의 한계를 극복하는 것.
• 기본 해밀턴 함수나 미분방정식의 존재나 형태에 의존하지 않고도 학습된 맵의 정확한 심플렉틱성을 보장하는 것.
• 기하학적 구조 유지 보존을 통해 오차 누적 제어를 통해 장기 예측 정확도를 확보하는 것.
• 연속적인 해밀턴 역학이 존재하지 않는 이산 시간 시스템(예: 표준 맵)에까지 적용 가능성을 넓히는 것.

제안 방법

• 심플렉틱 진화 맵을 생성 함수를 통해 표현하며, 이는 심플렉틱 맵와 일대일 대응을 제공한다.
• 신경망(GFNN)을 사용해 생성 함수를 근사함으로써, 구성에 의해 결과 맵이 정확히 심플렉틱이 되도록 보장한다.
• 시작 조건을 시간에 따라 전진시키는 맵을 학습하기 위해 이산 시계열 데이터를 GFNN에 훈련시킨다.
• 생성 함수 형식을 사용해 심플렉틱성을 강제함으로써 수치적 적분이나 벡터장 추정이 필요 없도록 한다.
• 심플렉틱 맵의 기하학적 구조를 활용해 국소 오차 누적 제어를 통해 선형 전역 오차 증가를 이끈다.
• 연속 시간 해밀턴 시스템(예: PCR3BP)과 이산 시간 시스템(예: 표준 맵)에 모두 적용하여 다양한 영역에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 기본 ODE나 해밀턴 함수를 가정하지 않고 순수 데이터 기반 방법이 심플렉틱 진화 맵을 학습할 수 있는가?
• RQ2 생성 함수를 통한 정확한 심플렉틱성 강제가 벡터장 기반 방법과 비교해 장기 예측 정확도에 어떤 영향을 미치는가?
• RQ3 기존 방법이 실패하는 비분리 및 혼돈이 있는 해밀턴 시스템에서 GFNN이 정확도를 유지할 수 있는가?
• RQ4 연속 역학이 존재하지 않는 이산 시간 시스템(예: 표준 맵)에서 이 방법의 성능은 어떠한가?
• RQ5 기하학적 구조 유지 보존이 장기 예측 수평에서 오차 누적에 어떤 영향을 미치는가?

주요 결과

• GFNN는 일반적으로 벡터장 기반 방법에서 관찰되는 지수적 오차 증가와는 달리 장기 예측 수평에서 선형 전역 예측 오차 증가를 달성한다.
• 비분리성 PCR3BP 시스템에서 GFNN는 SRNN조차도 심플렉틱성 유지 기능을 갖춘 경우에도 슈퍼리어한 성능을 보였다.
• 혼돈이 있는 표준 맵에서 GFNN는 유일하게 주요 정규 영역과 그 사이의 준주기적 점프를 포착했으며, 다른 방법들은 혼돈 또는 주기적 구조를 재현하지 못했다.
• GFNN는 정확히 심플렉틱성을 유지하여 VFNN나 HNN와 같은 벡터장 기반 모델에서 관찰되는 오차 누적과 왜곡을 피했다.
• 기본 연속 해밀턴 역학 동역학이 존재하지 않는 시스템까지 포함해 통합 및 혼돈 영역 모두에서 궤도를 성공적으로 예측했다.
• KL 발산을 사용한 정량적 비교에서 GFNN의 예측된 경험 분포는 진짜 동역학과 특히 위상 구조와 위상 공간 구조에서 매우 유사하게 유지되었다.