[논문 리뷰] Learning Symbolic Physics with Graph Networks

Miles Cranmer, Rui Xu외 2명|arXiv (Cornell University)|2019. 09. 12.

Topic Modeling참고 문헌 15인용 수 32

한 줄 요약

이 논문은 물리학에 영감을 받은 인덕티브 바이어스를 갖춘 그래프 네트워크(GN)를 제안하며, n-체 시뮬레이션에서 해석 가능한 힘 표현을 학습하여 처음부터 뉴턴의 만유인력 법칙을 기호적 회귀를 통해 복원한다. 이 모델은 훈련 중에 관찰한 것보다 더 큰 시스템으로의 제로샷 일반화 성능이 뛰어나며, 메시지 공간을 제약( L^{e′} = D )함으로써 고차원의 비제약 대안보다 일반화 성능을 향상시킨다는 것을 보여준다.

ABSTRACT

We introduce an approach for imposing physically motivated inductive biases on graph networks to learn interpretable representations and improved zero-shot generalization. Our experiments show that our graph network models, which implement this inductive bias, can learn message representations equivalent to the true force vector when trained on n-body gravitational and spring-like simulations. We use symbolic regression to fit explicit algebraic equations to our trained model's message function and recover the symbolic form of Newton's law of gravitation without prior knowledge. We also show that our model generalizes better at inference time to systems with more bodies than had been experienced during training. Our approach is extensible, in principle, to any unknown interaction law learned by a graph network, and offers a valuable technique for interpreting and inferring explicit causal theories about the world from implicit knowledge captured by deep learning.

연구 동기 및 목표

• 원시적인 역학 데이터에서 해석 가능하고 물리적으로 의미 있는 표현을 학습하는 기계학습 접근법을 개발한다.
• 훈련 중에 관찰한 것보다 더 큰 물리적 시스템으로의 제로샷 일반화 성능을 향상시킨다.
• 훈련된 신경망의 기호적 회귀를 통해 명시적인 기호적 물리 법칙을 추출한다.
• 메시지 공간 차원( L^{e′} )을 물리적 차원( D )과 일치시켜 제약하는 것이 일반화 성능을 향상시키는가를 조사한다.
• 딥 러닝 모델을 원인론적이고 일반적인 물리 이론으로 해석할 수 있는 방법을 제공한다.

제안 방법

• 메시지 공간 차원( L^{e′} )을 물리적 차원 D(예: 3D 힘의 경우 3)와 일치시킴으로써 그래프 네트워크에 인덕티브 바이어스를 도입한다.
• 메시지 함수 φᵉ, 엣지에서 노드로의 풀링 ρᵉ→ᵛ, 노드 갱신 함수 φᵛ를 갖는 수정된 그래프 네트워크 아키텍처를 사용하며, 메시지 표현이 물리적 힘에 해당한다.
• 2D 및 3D에서 중력 및 스프링 유사 시뮬레이션을 대상으로 감독 학습을 통해 시스템 역학 예측을 훈련한다.
• 기계적 힘 법칙의 근본 원리를 근사하는 기호적 표현을 도출하기 위해 훈련된 GN의 메시지 함수 φᵉ에 기호적 회귀(eureqa를 통해)를 적용한다.
• 복잡도 정규화된 모델 선택을 통해 오카무의 면도 원칙을 적용하여 후보 피팅들 중 가장 간결한 기호 표현을 식별한다.
• 일반화 성능 평가를 위해 훈련 세트에 포함된 몸체 수보다 많은 몸체를 가진 시스템에서 훈련된 GN을 테스트하며, 다양한 L^{e′} 값 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 물리학에 영감을 받은 인덕티브 바이어스를 가진 그래프 네트워크는 n-체 시스템에서 진짜 물리적 힘과 동일한 메시지 표현을 학습할 수 있는가?
• RQ2 기본 지식 없이도 기호적 회귀를 통해 알려진 물리 법칙(예: 뉴턴의 만유인력 법칙)을 학습된 메시지 함수에서 복원할 수 있는가?
• RQ3 메시지 공간 차원( L^{e′} )을 물리적 차원( D )과 일치시켜 제약하는 것이 더 큰 시스템으로의 제로샷 일반화 성능을 향상시키는가?
• RQ4 고차원 메시지 공간( L^{e′} > D )을 갖는 GN의 성능이 물리적 제약이 있는 최소 차원( L^{e′} = D )을 갖는 경우에 비해 분포 외 일반화에서 어떻게 다른가?
• RQ5 훈련된 GN의 내부 표현을 블랙박스 매핑이 아닌 원인론적이고 일반적인 물리 이론으로 해석할 수 있는가?

주요 결과

• L^{e′} = D 인 GN은 2D 및 3D n-체 시뮬레이션에서 진짜 힘 벡터와 동일한 메시지 표현을 학습했다.
• 기호적 회귀를 통해 뉴턴의 만유인력 법칙을 근사하는 대수적 표현을 성공적으로 복원했다: (0.46m₂Δy − 1.55m₂Δx)/r², 이는 물리적 힘 성분과 일치한다.
• L^{e′} = D 인 GN은 훈련 세트에서 관찰한 몸체 수보다 많은 몸체를 가진 시스템으로의 일반화 성능이 유의미하게 뛰어나, L^{e′} > D 인 모델보다 뛰어났다.
• L^{e′} > D 인 GN은 더 큰 시스템에서 손실이 급격히 증가하는 경향을 보이며, 진짜 힘 법칙을 학습하기보다는 메시지 공간에 복잡한 인코딩을 통해 ' cheating'하는 것으로 나타났다.
• L^{e′} 를 알려진 최소 차원( D )까지 최소화하거나 손실이 감소하기 시작할 때까지 줄이는 것으로 최적 모델을 도출할 수 있었으며, 이는 일반화를 위한 타당한 설계 원칙임을 시사한다.
• 이 접근법은 암묵적인 신경망 표현에서 해석 가능하고 기호적인 물리 법칙을 추출할 수 있게 하여 딥 러닝과 과학적 발견을 연결한다.