[논문 리뷰] Variational integrator graph networks for learning energy-conserving dynamical systems

Shaan Desai, Marios Mattheakis외 1명|arXiv (Cornell University)|2021. 01. 01.

Model Reduction and Neural Networks참고 문헌 17인용 수 14

한 줄 요약

이 논문은 에너지 보존, 심플렉틱 적분, 그래프 기반의 구조적 인도적 편향을 통합하여 노이즈가 있는 데이터로부터 물리 시스템의 장기적 역학을 학습하는 데 목적이 있는 새로운 신경망 아키텍처인 변분 통합 그래프 네트워크(Variational Integrator Graph Networks, VIGNs)를 제안한다. 고차수 변분 적분기(분할 룬게쿠타 방법을 통해 구현)와 그래프 신경망, 잠재 에너지 제약 조건을 결합함으로써, 기존의 물리 기반 모델들에 비해 단일 및 다체계 시스템에서 예측 정확도와 데이터 효율성이 뛰어나다.

ABSTRACT

Recent advances show that neural networks embedded with physics-informed priors significantly outperform vanilla neural networks in learning and predicting the long-term dynamics of complex physical systems from noisy data. Despite this success, there has only been a limited study on how to optimally combine physics priors to improve predictive performance. To tackle this problem we unpack and generalize recent innovations into individual inductive bias segments. As such, we are able to systematically investigate all possible combinations of inductive biases of which existing methods are a natural subset. Using this framework we introduce variational integrator graph networks-a novel method that unifies the strengths of existing approaches by combining an energy constraint, high-order symplectic variational integrators, and graph neural networks. We demonstrate, across an extensive ablation, that the proposed unifying framework outperforms existing methods, for data-efficient learning and in predictive accuracy, across both single- and many-body problems studied in the recent literature. We empirically show that the improvements arise because high-order variational integrators combined with a potential energy constraint induce coupled learning of generalized position and momentum updates which can be formalized via the partitioned Runge-Kutta method.

연구 동기 및 목표

• 개별 물리 기반의 인도적 편향이 에너지 보존 역학 시스템 학습에 미치는 영향을 체계적으로 조사하는 것.
• 예측 성능 향상을 위한 최적의 인도적 편향 조합—특히 해밀토니안 제약 조건, 심플렉틱 적분기, 그래프 구조—를 규명하는 것.
• HNN, OGN, VIN 등의 기존 방법의 核 心 강점을 통합하여 일반화된 프레임워크를 개발하는 것.
• 고차수 변분 적분기를 통한 위치-운동량 동시 갱신이 학습 정확도와 에너지 보존에 크게 기여함을 입증하는 것.

제안 방법

• 시스템의 구조와 입자 또는 구성 요소 간 상호작용을 모델링하기 위해 그래프 신경망(GNN)을 사용한다.
• 시간 적분 중 장기적인 에너지 보존을 보장하기 위해 분할 룬게쿠타(PRK) 방법으로 형식화된 고차수 심플렉틱 변분 적분기를 통합한다.
• 잠재 에너지 제약 조건을 구현하기 위해 신경망을 학습시켜 잠재 에너지 함수를 예측함으로써 운동량과 분리된 방식으로 더 효율적인 학습을 가능하게 한다.
• 학습된 잠재 에너지에서 자동 미분을 사용하여 시간 도함수를 계산함으로써 시스템의 에너지 보존적 진화를 가능하게 한다.
• 노이즈가 있는 관측치가 존재하더라도 상태 및 에너지 궤적 예측 오차를 최소화하는 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 각 인도적 편향을 체계적으로 제거하여 성능 기여도를 분리 분석할 수 있는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 해밀토니안 제약 조건, 심플렉틱 적분기, 그래프 구조, 잠재 에너지 학습 중 어떤 조합이 에너지 보존 시스템의 예측 성능을 가장 향상시키는가?
• RQ2 PRK를 통한 고차수 변분 적분기를 사용할 경우, 저차수 또는 비심플렉틱 방법에 비해 위치와 운동량 갱신의 결합 방식이 어떻게 향상되는가?
• RQ3 잠재 에너지 제약 조건을 강제로 구현할 경우, 노이즈가 있는 학습 환경에서 데이터 효율성과 일반화 능력이 얼마나 향상되는가?
• RQ4 제안된 통합 프레임워크가 HOGNs, OGNs, HNNs, VINs와 같은 기존 최첨단 모델들을 다양한 물리 시스템에서 초월할 수 있는가?
• RQ5 위치-운동량 동시 학습이 장기적인 에너지 보존과 궤적 정확도 향상에 어떤 역할을 하는가?

주요 결과

• VIGNs는 노이즈가 있는 훈련 데이터를 가진 에너지 보존 시스템에서 HOGNs, OGNs, HNNs, VINs 등 모든 베이스라인을 압도하며, 상태 및 에너지 예측의 평균 제곱오차(MSE)가 낮아졌다.
• 노이즈가 있는 5스프링 입자 시스템에서 VIGNs는 상태 MSE를 최대 10배, 에너지 MSE를 최대 100배까지 감소시켰다.
• 노이즈가 있는 3체 중력 시스템에서 VIGNs는 500단계 동안 평균 에너지 오차가 1e-3 이하로 유지되었으며, HNN 및 PGN 등의 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 아블레이션 연구 결과, 고차수 변분 적분기와 잠재 에너지 제약 조건을 결합할 경우 성능 향상이 가장 크게 나타났으며, 특히 데이터가 부족한 환경에서 두드러졌다.
• 롤아웃 시각화 결과, 특히 장기적인 시간 간격에서 VIGNs가 RK4 기반의 베이스라인보다 더 정확하고 안정적인 궤적을 생성하는 것으로 나타났다.
• 모델은 노이즈가 있는 초기 조건에 대해서도 강건성을 보였으며, 25개의 테스트 초기 조건에 대한 기하 평균 MSE가 모든 베이스라인보다 뚜렷이 낮게 유지되었다.