[논문 리뷰] Symplectic Recurrent Neural Networks

Zhengdao Chen, Jianyu Zhang외 2명|arXiv (Cornell University)|2019. 09. 29.

Model Reduction and Neural Networks참고 문헌 24인용 수 64

한 줄 요약

SRNN은 symplectic 적분, 다중 단계 훈련, 초기 상태 최적화를 사용하여 궤적에서 해밀토니안 역학을 학습하고, 노이즈에 대한 강인성을 향상시키며 rebounds와 같은 강직한 역학을 처리합니다.

ABSTRACT

We propose Symplectic Recurrent Neural Networks (SRNNs) as learning algorithms that capture the dynamics of physical systems from observed trajectories. An SRNN models the Hamiltonian function of the system by a neural network and furthermore leverages symplectic integration, multiple-step training and initial state optimization to address the challenging numerical issues associated with Hamiltonian systems. We show that SRNNs succeed reliably on complex and noisy Hamiltonian systems. We also show how to augment the SRNN integration scheme in order to handle stiff dynamical systems such as bouncing billiards.

연구 동기 및 목표

• 관찰된 위치와 운동량 궤적에서 직접 해밀토니안 역학을 학습한다.
• 시공 간섭적(symplectic) 적분과 순환형 학습을 통해 관측 노이즈에 대한 강인성을 개선한다.
• 노이즈로 인한 편향을 완화하기 위한 초기 상태 최적화(ISO) 도입.
• augmentation을 통해 완벽한 rebounds를 포함한 강직한 역학을 다루는 것을 시연한다.
• 복잡한 시스템(스프링-체인, 삼체계)에서의 성능을 보여주고 baseline HNN/O-NET 방법과 비교한다.

제안 방법

• 해밀토니안을 Hθ(p,q) 신경망으로 모델링하여 도함수가 역학을 제공하도록 한다(Hθ = Kθ1(p) + Vθ2(q)).
• 다중 시간 스텝을 통해 (p,q)를 전파하고 역전파를 통해 여러 시간 스텝을 거친다(다중 단계 훈련).
• ODE NET 또는 Hamilitonian NET 형식으로 학습하도록 하여 적분과 함께 궤적을 예측하도록 훈련한다.
• 초기 상태 최적화(ISO): 초기 (p0,q0)를 각 궤적의 trainable 변수로 취급하고 손실을 통해 최적화한다.
• 강직한 역학을 위한 rebound 모듈을 도입하고, rebound 방향과 타이밍(n, α, γ)을 시각적 신호로 모델링한다.
• same 적분기/타임스텝으로 학습/평가할 때, 이산화 오차를 보상하는 수정된 미분방정식을 학습한다.

실험 결과

연구 질문

• RQ1 SRNN이 노이즈가 있는 궤적 데이터로부터 복잡한 해밀토니안 역학을 신뢰성 있게 학습할 수 있는가?
• RQ2 symplectic(leapfrog) 적분을 사용하는 것이 Euler 기반 학습보다 안정성과 정확성을 향상시키는가?
• RQ3 순환형(다중 단계) 학습이 노이즈 하에서 단일 단계 학습보다 성능이 우수한가?
• RQ4 관측 노이즈 하에서 예측 정확도를 개선하기 위한 초기 상태 최적화가 효과적인가?
• RQ5 SRNN을 augmentation를 통해 완벽한 rebounds(당구벽과 같은 상황) 같은 강직한 역학을 다루도록 확장할 수 있는가?

주요 결과

• 순환형(다중 단계) 학습과 leapfrog 적분을 가진 SRNN은 H-NET 및 O-NET 기준선에 비해 스프링-체인 및 삼체 시스템에서 가장 낮은 예측 오차를 달성한다.
• 학습과 테스트에서 leapfrog를 일관되게 사용하는 것이 Euler 기반 스킴보다 안정성과 정확성을 향상시킨다.
• 초기 상태 최적화(ISO)는 노이즈 하에서 가장 좋은 예측을 제공하며, 고정 초기 상태 변형보다 우수하다.
• SRNN 유도 역학은 이산화 오차를 보상할 수 있으며 같은 스텝 크기로 진짜 ODE를 수치적으로 푸는 것보다 때로 더 나은 결과를 낳는다.
• 확장된 SRNN은 heavy billiard에서 완벽한 rebound 동작을 성공적으로 학습하며, rebound 타이밍이 불확실할 때에도 기준선보다 우수하다.