[논문 리뷰] Learning Physical Dynamics with Subequivariant Graph Neural Networks

Jiaqi Han, Wenbing Huang외 4명|arXiv (Cornell University)|2022. 10. 13.

Computational Physics and Python Applications인용 수 10

한 줄 요약

이 논문은 중력과 같은 외부 필드 하에서 물리적 역학을 모델링하기 위해 전체 E(3)-등변성을 부분 등변성(subequivariance)으로 완화하는 새로운 GNN 아키텍처인 Subequivariant Graph Neural Networks(SGNN)를 제안한다. 객체 인식 메시지 전파와 계층적 처리를 통합함으로써, Physion에서 상태 기반 시뮬레이터 대비 접촉 예측 정확도가 3% 이상 향상되었고, RigidFall에서 롤아웃 평균제곱오차가 2배 감소하였다. 또한 일반화 능력과 데이터 효율성에서도 뛰어난 성능을 보였다.

ABSTRACT

Graph Neural Networks (GNNs) have become a prevailing tool for learning physical dynamics. However, they still encounter several challenges: 1) Physical laws abide by symmetry, which is a vital inductive bias accounting for model generalization and should be incorporated into the model design. Existing simulators either consider insufficient symmetry, or enforce excessive equivariance in practice when symmetry is partially broken by gravity. 2) Objects in the physical world possess diverse shapes, sizes, and properties, which should be appropriately processed by the model. To tackle these difficulties, we propose a novel backbone, Subequivariant Graph Neural Network, which 1) relaxes equivariance to subequivariance by considering external fields like gravity, where the universal approximation ability holds theoretically; 2) introduces a new subequivariant object-aware message passing for learning physical interactions between multiple objects of various shapes in the particle-based representation; 3) operates in a hierarchical fashion, allowing for modeling long-range and complex interactions. Our model achieves on average over 3% enhancement in contact prediction accuracy across 8 scenarios on Physion and 2X lower rollout MSE on RigidFall compared with state-of-the-art GNN simulators, while exhibiting strong generalization and data efficiency.

연구 동기 및 목표

• 외부 필드(예: 중력)가 작용할 경우 전체 E(3)-등변성을 강제로 적용함으로써 과적합이 발생하는 기존 GNN 기반 시뮬레이터의 한계를 해결하기 위해.
• 특히 대칭성이 부분적으로 깨지는 상황에서 과도하게 제약을 가하지 않으면서도 물리적 대칭성을 인덕티브 바이어스로 통합하기 위해.
• 다양한 형태와 재질을 가진 다수의 물체 간 복잡한 장거리 상호작용을 입자 기반 표현에서 모델링하기 위해.
• 다양하고 대규모의 시나리오에서 물리적 역학 학습의 일반화 능력과 데이터 효율성을 향상시키기 위해.
• 등변성의 완화로써 부분 등변성(subequivariance)을 공식적으로 정의하고, 물리적 제약 조건을 존중하면서도 보편 근사 능력을 유지하는 방법을 구현하기 위해.

제안 방법

• 외부 필드(예: 중력)의 방향을 유지하는 변환으로 제한된 대칭군을 갖는 부분 등변성(subequivariance)을 E(3)-등변성의 완화로 제안한다.
• 객체 정체성과 기하학적 구조를 명시적으로 인코딩하여 내부 및 외부 객체 간 상호작용을 구분하는 부분 등변성 메시지 전파 모듈을 설계한다.
• 입자의 소속 객체에 따라 처리하는 객체 인식 메시지 전파 메커니즘을 도입하여 형태 및 재질 인식 동적 모델링을 가능하게 한다.
• 장거리 의존성과 다수의 물체 간 복잡한 상호작용을 모델링하기 위해 계층적 GNN 아키텍처를 활용한다.
• 이론적 분석을 통해 부분 등변성 함수 공간이 대칭 제약 조건이 감소함에도 불구하고 보편 근사 능력을 유지함을 증명한다.
• 차별가능한 물리 시뮬레이터 손실을 사용하여 입자 궤적에 대해 엔드 투 엔드로 모델을 훈련하고, 일반화를 향상시키기 위해 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 중력과 같은 외부 필드가 존재하는 상황에서 부분 등변성은 전체 E(3)-등변성보다 더 나은 인덕티브 바이어스를 제공할 수 있는가?
• RQ2 객체 인식 메시지 전파가 다양한 형태와 재질의 물체 간 상호작용을 어떻게 향상시킬 수 있는가?
• RQ3 계층적 메시지 전파가 대규모 시스템에서 장거리 및 복잡한 물리적 상호작용을 어떻게 향상시킬 수 있는가?
• RQ4 부분 등변성 GNN은 미세조정 없이도 회전되거나 기울인 시나리오와 같은 새로운 물리적 구성에 일반화할 수 있는가?
• RQ5 표준 등변성 또는 비등변성 GNN에 비해 부분 등변성은 데이터 효율성과 일반화 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• Physion 벤치마크에서 상태 기반 GNN 시뮬레이터 대비 8개의 다양한 시나리오에서 평균 3% 이상 높은 접촉 예측 정확도를 기록하였다.
• RigidFall 벤치마크에서 최상의 기존 GNN 기반 시뮬레이터 대비 롤아웃 평균제곱오차가 2배 감소하였다.
• 수평 구성에서만 훈련된 SGNN는 기울인 테이블과 같은 새로운 테스트 시나리오에 효과적으로 일반화되었으며, 중력 방향이 수직으로 유지되는 조건에서도 정상적으로 작동하였다.
• E(3)-등변성 모델인 EGNN와 달리 과도하게 제약을 가한 나머지 모델은 시나리오의 회전을 인식하지 못하지만, SGNN는 회전되거나 기울인 시나리오에서도 중력 기반 역학을 정확히 시뮬레이션하였다.
• 비등변성 모델인 GNS와 DPI에 비해 SGNN는 일반화 능력에서 뛰어나, 부분 등변성이 인덕티브 바이어스와 모델 용량 사이의 더 나은 균형을 이룬다는 것을 입증하였다.
• SGNN의 훈련 곡선은 안정적인 수렴을 보이며, 중력 하에서 전체 E(3)-등변성 모델인 EGNN에서 관찰된 훈련 불안정성을 피하는 것으로 나타났다.