[논문 리뷰] Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics

Pingchuan Ma, Peter Yichen Chen외 5명|arXiv (Cornell University)|2023. 04. 27.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 운동 관측치에서 구성 법칙을 학습하기 위해 미분 가능하고 물리적 정보를 반영한 신경망을 PDE 기반 시뮬레이터에 통합하는 하이브리드 프레임워크인 신경 구성 법칙(Neural Constitutive Laws, NCLaw)을 제안한다. 운동 관측치를 통해 물리적 사전 지식인 회전 동치성과 비변형 상태 평형을 강제로 적용함으로써, NCLaw는 다양한 기하학적 구조, 초기/경계 조건, 다물리계 시스템에서 종래의 엔드 투 엔드 신경망보다 수개의 주기 차이로 훨씬 뛰어난 일반화 성능을 달성한다. 이는 단 한 개의 궤적만으로도 학습이 가능하다.

ABSTRACT

We propose a hybrid neural network (NN) and PDE approach for learning generalizable PDE dynamics from motion observations. Many NN approaches learn an end-to-end model that implicitly models both the governing PDE and constitutive models (or material models). Without explicit PDE knowledge, these approaches cannot guarantee physical correctness and have limited generalizability. We argue that the governing PDEs are often well-known and should be explicitly enforced rather than learned. Instead, constitutive models are particularly suitable for learning due to their data-fitting nature. To this end, we introduce a new framework termed "Neural Constitutive Laws" (NCLaw), which utilizes a network architecture that strictly guarantees standard constitutive priors, including rotation equivariance and undeformed state equilibrium. We embed this network inside a differentiable simulation and train the model by minimizing a loss function based on the difference between the simulation and the motion observation. We validate NCLaw on various large-deformation dynamical systems, ranging from solids to fluids. After training on a single motion trajectory, our method generalizes to new geometries, initial/boundary conditions, temporal ranges, and even multi-physics systems. On these extremely out-of-distribution generalization tasks, NCLaw is orders-of-magnitude more accurate than previous NN approaches. Real-world experiments demonstrate our method's ability to learn constitutive laws from videos.

연구 동기 및 목표

• PDE 동역학에서 엔드 투 엔드 신경망 모델의 일반화 능력과 물리적 일관성 부족 문제를 해결하기 위해.
• 실세계 물리계에서 응력-변형률 데이터를 확보하는 데 어려움이 있는 문제를 극복하기 위해.
• 기본 PDE와 물리적 사전 지식을 고정하고 구성 법칙만 학습함으로써 PDE 기반 동역학의 일반화 성능을 향상시키기 위해.
• 운동 관측치만을 사용하여 데이터 효율적이고 일반화 가능한 복잡한 동역학계 모델링을 가능하게 하기 위해.

제안 방법

• 설계 단계에서 물리적 사전 지식인 회전 동치성과 비변형 상태 평형을 강제로 반영하는 신경망 아키텍처를 도입한다.
• 신경 구성 모델을 기하학적 미분 가능한 PDE 기반 물리 시뮬레이터에 통합하여 엔드 투 엔드 역전파를 가능하게 한다.
• 모의된 궤적과 관측된 궤적 간의 차이를 최소화하는 손실 함수를 사용하여 모델을 학습한다 (운동학적 데이터를 통한 감독).
• 시간에 따른 역전파(Back-propagation through time, BPTT)를 활용해 궤적 수준의 감독 기반으로 신경 구성 모델을 최적화한다.
• 시뮬레이터를 활용해 미분 가능한 예측을 생성함으로써, 직접적인 응력 또는 변형률 감독이 필요 없이 기울기 기반 최적화를 가능하게 한다.
• 고체, 유체, 다물리계 시스템에 이르기까지 다양한 물질에 대해 프레임워크를 적용하고, 새로운 기하학적 구조와 조건에 대해 제로샷 일반화를 달성한다.

Figure 1: Hybrid NN-PDE time-stepping . (a) Our method “time-steps” sequentially to obtain the solution of the dynamical system (b) Inside the time-stepping algorithm, we (i) use the neural elastic constitutive law to obtain the stress, (ii) update the state by solving the governing PDE ( Eqn. 1 ),

실험 결과

연구 질문

• RQ1 운동 관측치에서 구성 법칙을 학습하는 동안 회전 불변성과 같은 기본 물리 대칭성을 유지할 수 있는가?
• RQ2 기본 PDE는 고정하고 구성 법칙만 학습함으로써 엔드 투 엔드 신경 PDE 학습 대비 일반화 성능이 어떻게 향상되는가?
• RQ3 최소한의 데이터로도 다양한 물질(예: 물, 젤리, 모래, 플라스티린)에 대해 동일한 신경 아키텍처가 일반화 가능한가?
• RQ4 새로운 기하학적 구조, 초기 조건, 시간 범위, 다물리계 시스템 등 극단적인 분포 외 일반화 상황에서 이 방법의 성능은 어떠한가?
• RQ5 응력 데이터가 확보되지 않을 경우 운동학적 데이터(위치, 속도)만으로도 효과적인 감독이 가능한가?

주요 결과

• NCLaw는 단 한 개의 학습 궤적만으로도 새로운 기하학적 구조, 초기 및 경계 조건, 시간 범위에 대해 일반화되며, 기준 GNN 모델 대비 수개의 주기 차이로 훨씬 낮은 오차를 기록한다.
• 속도 일반화 작업에서 NCLaw는 한 개의 궤적만으로 손실 1.9e-5를 달성했고, 100개의 궤적을 사용한 GNN 모델보다도 뛰어난 성능(손실: 1.2e-2)을 보였다.
• 탄성 우측 카우치-그린 텐서에 대해 평균 제곱 오차가 2.388e-6로 측정되었으며, 직접 응력 감독을 사용한 기준 모델(2.381e-6)과 유사한 성능을 기록했다.
• 파rameter 식별 작업에서 NCLaw는 P-텐서 오차 6.1e-1을 기록했으며, 이는 직접 응력 감독을 사용한 기준 방법(2.6e-3)보다 높지만, 이는 기준 방법이 진짜 응력 데이터를 사용하기 때문에 예상되는 결과이다.
• 속도 기반 보조 손실을 추가하면 4개의 작업 중 3개에서 성능 향상이 나타났지만, 위치 감독만으로도 강력한 일반화 성능을 확보할 수 있었다.
• 실세계 영상 기반 실험을 통해 이론적 방법이 시각적 운동 데이터에서 구성 법칙을 효과적으로 학습할 수 있음을 확인하였으며, 실용적 적용 가능성도 입증하였다.

Figure 2: Generalization . We first train all methods in the environments specified in training with the initial velocities indicated using the black arrows. Then, we evaluate the generalization of all methods on four tasks specified in testing : (a) extended time, (b) unseen initial velocity, (c) c