[논문 리뷰] Symplectic networks: Intrinsic structure-preserving networks for identifying Hamiltonian systems.

Pengzhan Jin, Aiqing Zhu외 2명|arXiv (Cornell University)|2020. 01. 11.

Model Reduction and Neural Networks참고 문헌 46인용 수 11

한 줄 요약

이 논문은 해밀턴 시스템의 심플렉틱 구조를 내재적으로 유지하는 새로운 신경망 아키텍처인 심플렉틱 네트워크(SympNets)를 소개한다. 학습 중에 심플렉틱성을 강제함으로써 SympNets는 기존의 완전 연결 신경망보다 단지 단기 예측을 넘어서 장기 통합 작업에서 특히 전통적인 수치적 방법이 실패하는 상황에서도 상당히 뛰어난 성능을 발휘한다.

ABSTRACT

This work presents a framework of constructing the neural networks preserving the symplectic structure, so-called symplectic networks (SympNets). With the symplectic networks, we show some numerical results about ( omannumeral1) solving the Hamiltonian systems by learning abundant data points over the phase space, and ( omannumeral2) predicting the phase flows by learning a series of points depending on time. All the experiments point out that the symplectic networks perform much more better than the fully-connected networks that without any prior information, especially in the task of predicting which is unable to do within the conventional numerical methods.

연구 동기 및 목표

• 해밀턴 시스템의 심플렉틱 기하학을 내재적으로 존중하는 신경망 아키텍처를 개발하는 것.
• 특히 장기 시간 간격에서의 위상공간 데이터로부터 해밀턴 역학의 학습과 예측을 향상시키는 것.
• 에너지 및 위상공간 구조를 유지하는 데서 기존의 신경망과 전통적인 수치적 적분기법의 한계를 극복하는 것.
• 심플렉틱 유도 편향이 데이터 기반 환경에서 역학 예측의 안정성과 정확성 향상에 기여한다는 것을 입증하는 것.

제안 방법

• 숨은 층 갱신의 야코비안이 심플렉틱 행렬을 사용한 매개변수화를 통해 심플렉틱이 되도록 제약을 두는 신경망 아키텍처 설계.
• 각 층에서 심플렉틱 성질을 유지하는 심플렉틱 잔차 블록 구조를 활용.
• 위상공간 데이터 포인트의 조밀한 집합을 사용해 해밀턴 벡터장이 암묵적으로 학습되도록 네트워크를 훈련.
• 시간에 따른 시계열 데이터를 사용해 상태의 위상공간 흐름을 예측하도록 네트워크를 훈련함으로써 심플렉틱 일致성을 확보.
• 기하학적 정확성을 유지하면서 기울기 소실을 방지하는 심플렉틱 조건의 매개변수화를 통한 강제 적용.

실험 결과

연구 질문

• RQ1 해밀턴 시스템의 심플렉틱 구조를 내재적으로 유지하는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 심플렉틱 유도 편향은 기존의 완전 연결 신경망과 비교해 해밀턴 역학의 학습과 예측을 어떻게 향상시키는가?
• RQ3 기존의 수치적 방법이 실패하는 상황에서 SympNets는 장기적인 위상공간 흐름 예측에 일반화될 수 있는가?
• RQ4 심플렉틱 구조 유지가 데이터 기반 해밀턴 모델링에서 안정성과 정확성 향상에 얼마나 기여하는가?

주요 결과

• SympNets는 위상공간 데이터로부터 학습할 때 완전 연결 신경망보다 상당히 뛰어난 장기 예측 정확도를 달성한다.
• 심플렉틱 유도 편향 덕분에 에너지 이탈이 일반적으로 발생하는 기존 신경망에서 벗어나 장기간에 걸친 안정적인 통합이 가능하다.
• 제한된 시계열 데이터로 훈련된 경우에도 SympNets는 위상공간 흐름 예측에서 기존 신경망을 능가한다.
• 이 프레임워크는 희박하거나 조밀한 위상공간 관측치로부터 기존의 기하학적 정확성 향상과 함께 기저의 해밀턴 역학을 성공적으로 학습한다.