[논문 리뷰] Lagrangian Neural Networks

Miles Cranmer, Sam Greydanus외 4명|arXiv (Cornell University)|2020. 03. 10.

Computational Physics and Python Applications참고 문헌 20인용 수 66

한 줄 요약

본 논문은 신경망으로 임의의 라그랑주를 학습하는 Lagrangian Neural Networks(LNNs)를 소개하여, 고전 좌표를 필요로 하지 않고도 에너지를 보존하는 동역학을 가능하게 하며, 그래프 기반 및 연속 시스템으로 확장하기 위해 Lagrangian Graph Network를 제시한다.

ABSTRACT

Accurate models of the world are built upon notions of its underlying symmetries. In physics, these symmetries correspond to conservation laws, such as for energy and momentum. Yet even though neural network models see increasing use in the physical sciences, they struggle to learn these symmetries. In this paper, we propose Lagrangian Neural Networks (LNNs), which can parameterize arbitrary Lagrangians using neural networks. In contrast to models that learn Hamiltonians, LNNs do not require canonical coordinates, and thus perform well in situations where canonical momenta are unknown or difficult to compute. Unlike previous approaches, our method does not restrict the functional form of learned energies and will produce energy-conserving models for a variety of tasks. We test our approach on a double pendulum and a relativistic particle, demonstrating energy conservation where a baseline approach incurs dissipation and modeling relativity without canonical coordinates where a Hamiltonian approach fails. Finally, we show how this model can be applied to graphs and continuous systems using a Lagrangian Graph Network, and demonstrate it on the 1D wave equation.

연구 동기 및 목표

• 라그랑주 역학에 기반한 더 강한 사전 정보를 사용하여 물리적 동역학 학습을 촉진한다.
• 운동에너지 형태를 제한하지 않고 라그랑주를 학습하는 신경망 프레임워크를 개발한다.
• 정규 좌표를 알 수 없거나 이용할 수 없는 경우에도 정확하고 에너지를 보존하는 동역학을 가능하게 한다.
• 정지된 PDE와 유사한 작업을 위한 Lagrangian Graph Network를 통해 LNN을 그래프 기반 및 연속 시스템으로 확장한다.

제안 방법

• 신경망 매개변수화 라그랑주 함수 L(q, qdot)를 사용하여 오일러-라그랑주 방정식으로부터 동역학을 정식화한다.
• L의 헤시안과 기울기를 포함하는 행렬 방정식으로 ddot{q}를 풀어 가속도를 계산하고, ddot{q} = (nabla_{qdot} nabla_{qdot}^T L)^{-1} [nabla_q L - (nabla_q nabla_{qdot}^T L) dot{q}]를 얻는다.
• 예측된 가속도 ddot{x}^L와 실제 가속도 ddot{x}^true 사이의 불일치를 최소화하여 학습한다.
• 카노니컬 모멘텀을 필요로 하는 해밀토니안 방법과 달리 비정규 좌표를 허용한다.
• 연결된 좌표 그룹에 걸쳐 국소 Lagrangian 밀도를 합산하여 파동방정식을 모델링하는 Lagrangian Graph Networks로 확장한다.
• 고효율 순전파 모델링과 역해시안 계산을 위해 JAX를 활용하고, LNN에 특화된 새로운 초기화 전략을 적용한다.

실험 결과

연구 질문

• RQ1 신경망이 정규 좌표를 강제하지 않고 임의의 라그랑주를 학습할 수 있는가?
• RQ2 Lagrangian Neural Networks가 장시간 역학에서 기초 모델들보다 에너지를 더 효과적으로 보존하는가?
• RQ3 비정규 좌표 데이터에서 라그랑주 형식이 해밀토니안 기반 접근법과 비교해 어떻게 성능을 보이는가?
• RQ4 LNN 프레임워크를 Lagrangian Graph Network(LGN)을 통해 그래프 구조 또는 연속 시스템으로 확장할 수 있는가?
• RQ5 안정적인 LNN 학습을 위한 실용적 학습 고려사항(활성화 함수 선택, 초기화 등)은 무엇인가?

주요 결과

• LNN은 더블 팬던럼에서 전체 에너지를 기반 신경망보다 훨씬 정확하게 보존하며, 에너지 차이는 LNN이 최대 포텐셜 에너지의 약 0.4% 수준인 반면 베이스라인은 8%이다.
• 비정규 좌표를 갖는 상대론적 입자에서 LNN은 정확한 동역학을 학습하는 반면 해밀토니안 네트워크는 정규 좌표가 없으면 실패한다.
• Lagrangian Graph Network 모델은 1D 파동 방정식을 학습하고, 국소 격자 이웃들에 걸쳐 라그랑주 밀도를 합산할 때 에너지를 보존한다.
• 좌표 제약으로 인해 해밀토니안 방법이 어려움을 겪는 상황에서도 LNN은 비자명한 정규 모멘텀과 동역학을 학습할 수 있는 능력을 보여준다.