[논문 리뷰] Deep Hamiltonian networks based on symplectic integrators

Aiqing Zhu, Pengzhan Jin외 1명|arXiv (Cornell University)|2020. 04. 23.

Model Reduction and Neural Networks참고 문헌 42인용 수 18

한 줄 요약

이 논문은 심플렉틱 적분법을 사용하는 하미르토니안 신경망(HNets)이 진짜 원래 하미르토니안이 아니라, 역 수정 방정식으로 정의된 수정된 하미르토니안을 학습한다는 것을 입증한다. 이론적 분석을 통해 심플렉틱 적분법은 네트워크 목표(손실이 0인 맵)의 존재를 보장하는 반면, 비심플렉틱 적분법은 그렇지 않음을 증명한다. 수치 실험을 통해 심플렉틱 HNet은 장기 예측에서 네트워크 목표의 역학을 유지함으로써 더 뛰어난 일반화와 정확도를 달성한다.

ABSTRACT

HNets is a class of neural networks on grounds of physical prior for learning Hamiltonian systems. This paper explains the influences of different integrators as hyper-parameters on the HNets through error analysis. If we define the network target as the map with zero empirical loss on arbitrary training data, then the non-symplectic integrators cannot guarantee the existence of the network targets of HNets. We introduce the inverse modified equations for HNets and prove that the HNets based on symplectic integrators possess network targets and the differences between the network targets and the original Hamiltonians depend on the accuracy orders of the integrators. Our numerical experiments show that the phase flows of the Hamiltonian systems obtained by symplectic HNets do not exactly preserve the original Hamiltonians, but preserve the network targets calculated; the loss of the network target for the training data and the test data is much less than the loss of the original Hamiltonian; the symplectic HNets have more powerful generalization ability and higher accuracy than the non-symplectic HNets in addressing predicting issues. Thus, the symplectic integrators are of critical importance for HNets.

연구 동기 및 목표

• 적분법 선택이 HNets에서 네트워크 목표의 존재성과 성격에 미치는 영향을 조사하는 것.
• 심플렉틱 적분법이 비심플렉틱 적분법보다 HNets에서 더 잘 작동하는 이유를 이해하는 데서 발생하는 이론적 격차를 메우는 것.
• 심플렉틱 적분법을 사용해 훈련된 HNets가 원래 시스템의 하미르토니안이 아니라 수정된 하미르토니안을 학습한다는 것을 확립하는 것.
• 심플렉틱 HNets가 장기적인 역학 예측에서 더 나은 일반화와 더 높은 정확도를 달성함을 보여주는 것.

제안 방법

• 훈련 데이터에서의 영 Empirical Loss가 0인 맵으로서의 네트워크 목표 개념을 도입한다.
• HNets의 네트워크 목표를 해석적으로 계산하기 위해 역 수정 방정식을 제안한다.
• 역행 오차 분석을 사용하여 적분법의 정확도 순서와 목표 오차 사이의 관계를 규명한다.
• 네트워크 목표와 진짜 하미르토니안의 차이로써 목표 오차를 정의한다.
• 심플렉틱 및 비심플렉틱 적분법(예: 은밀한 중점 법칙 대비 트라페즈로이드 법칙)을 HNets에 적용한다.
• 수치 실험을 통해 단계 흐름 정확도와 하미르토니안 보존에 대한 이론적 발견을 검증한다.

실험 결과

연구 질문

• RQ1 적분법의 선택은 HNets에서 네트워크 목표의 존재성에 영향을 미치는가?
• RQ2 네트워크 목표는 해석적으로 특성화될 수 있으며, 원래 하미르토니안과 어떻게 관련이 있는가?
• RQ3 왜 심플렉틱 적분법은 비심플렉틱 적분법보다 HNets에서 더 나은 일반화와 정확도를 제공하는가?
• RQ4 심플렉틱 적분법을 사용해 훈련된 HNets가 원래 하미르토니안을 유지하는 정도는 어느 정도이며, 네트워크 목표를 유지하는가?
• RQ5 적분법의 정확도 순서는 HNets의 목표 오차에 어떤 영향을 미치는가?

주요 결과

• 심플렉틱 적분법을 기반으로 한 HNets는 잘 정의된 네트워크 목표를 가지며, 비심플렉틱 적분법은 그 존재를 보장할 수 없다.
• 네트워크 목표는 적분법의 역 수정 방정식의 절단된 형태와 일치하며, 원래 하미르토니안과는 다르다.
• 훈련 및 테스트 데이터에서 네트워크 목표의 손실은 원래 하미르토니안의 손실보다 크게 낮다.
• 심플렉틱 HNets는 네트워크 목표의 단계 흐름을 더 정확하게 유지하고, 그 하미르토니안을 더 잘 보존한다.
• pendulum 및 kepler 문제 실험에서 모두, 심플렉틱 HNets는 비심플렉틱 HNets보다 낮은 전역 오차와 더 나은 장기 보존 성능을 보였다.
• 적분법의 정확도 순서가 높을수록 목표 오차가 감소하여 이론적 예측을 확인한다.