[논문 리뷰] Unravelling the Performance of Physics-informed Graph Neural Networks for Dynamical Systems

Abishek Thangamuthu, Deepak Kumar외 4명|arXiv (Cornell University)|2022. 11. 10.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이 논문은 동역학 시스템을 시뮬레이션하기 위해 13종의 물리 기반 그래프 신경망(GNN)을 평가하며, 약속된 인덕티브 바이어스—예를 들어 제약 조건, 분리된 운동에너지/잠재에너지, 해밀토니안/라그랑주 수식—이 롤아웃 정확도, 에너지/운동량 보존, 그리고 훈련 데이터보다 훨씬 큰 시스템 크기로의 제로샷 일반화를 크게 향상시킴을 보여준다. 모든 물리 기반 GNN은 훈련 데이터보다 한 계급 큰 시스템으로 일반화되며, Hgnn와 Gnode가 효율성-정확도 균형에서 가장 우수한 성능을 보인다.

ABSTRACT

Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.

연구 동기 및 목표

• 물리 기반 그래프 신경망(GNN)의 성능을 정확도, 보존 법칙, 일반화 측면에서 동역학 시스템 시뮬레이션에 대해 평가하는 것.
• 해밀토니안, 라그랑주, 뉴턴 수식과 같은 다양한 인덕티브 바이어스가 물리 시스템에서 GNN 성능에 미치는 영향을 조사하는 것.
• 명시적인 제약 조건과 운동에너지 및 잠재에너지의 분리가 모델 일반화 및 보존 성질 향상에 미치는 역할을 평가하는 것.
• 훈련 데이터의 시스템 크기보다 훨씬 큰 크기로의 제로샷 일반화 가능성 여부를 검토하는 것.
• 특히 모델 복잡도와 관련하여 다양한 GNN 아키텍처 간의 훈련 및 추론 효율성 간의 상호 관계를 비교하는 것.

제안 방법

• 연구는 GNN-ODE(Gnode), 해밀토니안 GNN(Hgnn), 라그랑주 GNN(Lgnn) 및 그 제약 조건 및 분리된 변형을 포함한 13종의 GNN 변종을 평가한다.
• 모델은 기저 방정식에 대한 명시적 지식 없이 궤적 데이터(위치 및 속도)만으로 훈련되며, 물리 기반 인덕티브 바이어스는 라그랑주, 해밀토니안 또는 미분방정식 수식을 통해 통합된다.
• 인덕티브 바이어스는 아키텍처 설계를 통해 강제된다: 제약 조건은 명시적으로 모델링되고, 운동에너지 및 잠재에너지 항은 교차항을 줄이기 위해 카르테시안 좌표계에서 분리된다.
• 성능 평가는 스프링-마스, 펜듈럼, 중력 N체, 3D 탄성 고체의 네 가지 시스템에서 평가되며, 롤아웃 오차, 에너지/운동량 보존, 그리고 예측 불가능한 시스템 크기로의 일반화를 기준으로 한다.
• 오차 지표의 95% 신뢰구간을 계산하기 위해 각 시스템당 100개의 무작위 초기 조건을 사용한다.
• 훈련 및 추론 시간을 측정하여 계산 효율성을 평가하며, 특히 두阶 도함수를 포함하는 모델(예: Lgnn)에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 해밀토니안, 라그랑주, 미분방정식 수식과 같은 다양한 물리 기반 인덕티브 바이어스가 동역학 시스템 시뮬레이션에서 GNN 성능에 미치는 영향은 어떠한가?
• RQ2 명시적인 제약 조건과 운동에너지 및 잠재에너지의 분리가 GNN의 일반화 및 물리량 보존 성질 향상에 얼마나 기여하는가?
• RQ3 물리 기반 GNN은 훈련 데이터의 시스템 크기보다 10배 큰 크기로 제로샷 일반화가 가능한가?
• RQ4 특히 두阶 도함수를 포함하는 모델의 경우, 다양한 GNN 아키텍처에서 훈련/추론 효율성과 성능 간의 상호 관계는 어떠한가?
• RQ5 비혼돈성, 소규모 변형 동역학에서 순수 데이터 기반 GNN(FGnode 등)과 비교해 물리 기반 GNN은 오차와 보존성 측면에서 어떻게 다른가?

주요 결과

• 모든 물리 기반 GNN은 롤아웃 오차 및 에너지/운동량 보존 측면에서 순수 데이터 기반 기준선인 FGnode를 능가하지만, 소규모 변형, 비혼돈성 3D 탄성 변형 시스템에서는 예외이다.
• GNN 아키텍처에 제약 조건을 명시적으로 통합함으로써 학습 난이도가 크게 감소하고 모든 모델 유형에서 성능 향상이 이루어진다.
• 모델 아키텍처에서 운동에너지 및 잠재에너지 항을 분리함으로써 운동량 보존 오차가 상당히 감소하여 더 정확한 물리적 인덕티브 바이어스가 구현됨을 시사한다.
• Hgnn와 Gnode는 효율성과 성능 간의 최적 균형을 달성하며, Lgnn는 두阶 도함수로 인해 정확도 향상 없이도 가장 느린 성능을 보인다.
• 모든 물리 기반 GNN은 훈련 시스템 크기보다 최대 10배 큰 크기로 제로샷 일반화를 보이며, 유사한 오차 수준을 유지한다.
• 3D 탄성 고체 시스템에서는 변형이 소규모이고 비혼돈성이므로 물리 기반 GNN이 데이터 기반 GNN과 유의미한 성능 향상을 보이지 않으며, 이는 물리적 인덕티브 바이어스가 복잡하고 혼돈성이 있는 시스템에서 가장 유익함을 시사한다.