[논문 리뷰] Hamiltonian Neural Networks

Sam Greydanus, Misko Dzamba외 1명|arXiv (Cornell University)|2019. 06. 04.

Machine Learning in Materials Science참고 문헌 43인용 수 315

한 줄 요약

이 논문은 에너지 보존을 강제하기 위해 매개변수화된 해밀토니안을 학습하는 Hamiltonian Neural Networks(HNNs)를 도입하여, 기본 네트워크 대비 장기 충실도와 정확한 가역성을 달성한다.

ABSTRACT

Even though neural networks enjoy widespread use, they still struggle to learn the basic laws of physics. How might we endow them with better inductive biases? In this paper, we draw inspiration from Hamiltonian mechanics to train models that learn and respect exact conservation laws in an unsupervised manner. We evaluate our models on problems where conservation of energy is important, including the two-body problem and pixel observations of a pendulum. Our model trains faster and generalizes better than a regular neural network. An interesting side effect is that our model is perfectly reversible in time.

연구 동기 및 목표

• 신경망에서 물리 정보가 반영된 귀납 바이어스의 필요성을 동력적으로 제시한다.
• 에너지 보존 법칙을 비지도 학습으로 강제하는 해밀토니안 함수를 신경망으로 학습하는 것을 제안한다.
• 다양한 물리 과제에서 장기 동역학 및 에너지 보존의 향상을 시연한다.

제안 방법

• 좌표 (q, p)를 에너지 유사값으로 매핑하는 해밀토니안 H_theta를 신경망으로 매개변수화한다.
• Symplectic 그래디언트 S_H = (∂H/∂p, -∂H/∂q)를 계산하여 시간 도함수를 얻고 RK4 솔버로 적분한다.
• 정확한 보존 법칙을 강제하기 위해 그래프 내 그래디언트 손실 L_HNN = ||∂H/∂p - dq/dt||_2 + ||∂H/∂q + dp/dt||_2를 사용하여 학습한다.
• 이상 질량-스프링, 이상 진자, 실제 진자, 2체 문제, 픽셀 기반 진자 역학 등 과제에서 평가한다.
• 해밀토니안 구조를 촉진하고 잠재공간 손실을 추가하여 HNN에 autoencoder를 연결하고 픽셀 관찰에 확장한다.

Figure 1: Learning the Hamiltonian of a mass-spring system. The variables $q$ and $p$ correspond to position and momentum coordinates. As there is no friction, the baseline’s inner spiral is due to model errors. By comparison, the Hamiltonian Neural Network learns to exactly conserve a quantity that

실험 결과

연구 질문

• RQ1 신경망이 dynamical system에서 에너지 보존을 강제하는 해밀토니안을 학습할 수 있는가?
• RQ2 HNN이 간단하고 복잡한 물리 과제 전반에서 표준 신경망보다 일반화 및 에너지 보전을 더 잘 수행하는가?
• RQ3 HNN을 픽셀 데이터에서 학습시켜 다이나믹 시스템을 모델링할 수 있는가?
• RQ4 해밀토니안 구조를 도입하면 학습된 역학의 가역성 및 장기 안정성에 어떻게 영향을 미치는가?

주요 결과

작업	Baseline Train Loss	HNN Train Loss	Baseline Test Loss	HNN Test Loss	Baseline Energy	HNN Energy
1: 이상적인 질량-스프링	37± 2	37± 2	37± 2	36± 2	170± 20	.38±.1
2: 이상적 진자	33± 2	33± 2	35± 2	36± 2	42± 10	25± 5
3: 실제 진자	2.7±.2	9.2±.5	2.2±.3	6.0±.6	390± 7	14± 5
4: 이체체(×10^6)	33± 1	3.0±.1	30±.1	2.8±.1	6.3e4± 3e4	39± 5
5: 픽셀 진자	18±.2	19±.2	17±.3	18±.3	9.3± 1	.15±.01

• HNN은 에너지 유사 보존량을 학습하고 시간에 따른 에너지 드리프트를 기준선 대비 상당히 감소시킨다.
• 다섯 개 과제 모두에서 HNN은 훈련/테스트 손실이 기준선과 유사하게 나타나지만 에너지 보존은 훨씬 우수하며(여러 과제에서 에너지 MSE가 수십 배 수준으로 감소).
• HNN은 더 큰 시스템(예: 2체 문제)에서도 강한 에너지 보존과 기준선보다 발산 속도가 느리게 나타난다.
• 픽셀 기반 실험에서 HNN은 잠재 표현으로부터 역학을 학습하고 수백 프레임에 걸쳐 기본보다 에너지를 더 잘 보존한다.
• HNN에서 보존된 양은 거의 총 에너지에 해당하며(상수 배수의 차이 가능), 학습된 해밀토니안이 핵심 물리학을 포착함을 시사한다.

Figure 2: Analysis of models trained on three simple physics tasks. In the first column, we observe that the baseline model’s dynamics gradually drift away from the ground truth. The HNN retains a high degree of accuracy, even obscuring the black baseline in the first two plots. In the second column