[논문 리뷰] Discovering Symbolic Models from Deep Learning with Inductive Biases

Miles Cranmer, Álvaro Sánchez‐González외 5명|arXiv (Cornell University)|2020. 06. 19.

Model Reduction and Neural Networks참고 문헌 61인용 수 269

한 줄 요약

이 논문은 그래프 뉴럴 네트워크에서 희소 잠재 표현을 강제하고 내부 구성요소에 기호 회귀를 적용함으로써 해석 가능한 기호 방정식을 추출하고, 알려진 물리 법칙을 재발견하며 우주론과 관련된 새로운 식을 발견한다.

ABSTRACT

We develop a general approach to distill symbolic representations of a learned deep model by introducing strong inductive biases. We focus on Graph Neural Networks (GNNs). The technique works as follows: we first encourage sparse latent representations when we train a GNN in a supervised setting, then we apply symbolic regression to components of the learned model to extract explicit physical relations. We find the correct known equations, including force laws and Hamiltonians, can be extracted from the neural network. We then apply our method to a non-trivial cosmology example-a detailed dark matter simulation-and discover a new analytic formula which can predict the concentration of dark matter from the mass distribution of nearby cosmic structures. The symbolic expressions extracted from the GNN using our technique also generalized to out-of-distribution data better than the GNN itself. Our approach offers alternative directions for interpreting neural networks and discovering novel physical principles from the representations they learn.

연구 동기 및 목표

• 해석 가능한 물리 기반 모델을 얻기 위해 딥 러닝과 기호 회귀의 결합을 제안한다.
• 그래프 네트워크의 강력한 귀납 편향을 활용해 압축된 내부 표현을 학습한다.
• 학습된 GN 구성요소에 기호 회귀를 적용해 명시적 해석적 표현을 추출한다.
• 뉴턴 역학, 해밀토니언 역학, 그리고 우주론(다크 매터 홀)에서 이 접근법을 시연한다.
• 기호 해가 원래의 신경망 모델보다 분포를 벗어난 데이터에 대해 더 잘 일반화할 수 있음을 보인다.

제안 방법

• 상호 작용하는 입자 시스템에 적합한 귀납 편향을 가진 그래프 네트워크(에지, 노드, 글로벌 모델)를 사용한다.
• 동역학이나 시스템 에너지를 예측하도록 엔드투엔드로 학습하고, L1 또는 KL 정규화나 병목을 통해 압축된 잠재 표현을 촉진한다.
• GN 구성요소(phi^e, phi^v, phi^u)에 해석적 표현을 맞추기 위해 기호 회귀(eureqa)를 적용한다.
• GN 내부 함수를 학습된 기호 표현으로 대체하고 매개변수를 다시 적합해 해석 가능한 모델을 얻는다.
• 해밀토니언 케이스의 경우 Flattened Hamiltonian Graph Network를 사용해 H_pair 및 H_self 항을 확보해 기호 추출을 수행한다.
• 힘의 법칙과 퍼텐셜의 추출을 시연하고 다크 매터 홀을 포함하는 우주론 데이터 세트에서 검증한다.

실험 결과

연구 질문

• RQ1 그래프 네트워크의 강력한 귀납 편향이 학습된 역학을 설명하는 명시적 기호 방정식의 추출을 가능하게 할까?
• RQ2 GN 구성요소로부터 도출된 기호 표현이 알려진 물리 법칙(예: 뉴턴의 힘, 해밀토니언)에 대응하며 분포를 벗어난 데이터에 일반화될 수 있을까?
• RQ3 실세계 데이터셋(우주론)에서 재현된 힘 법칙을 넘어 새롭고 해석 가능한 수식을 기호 회귀로 회복할 수 있을까?
• RQ4 정규화(L1 또는 KL)나 병목이 기저 물리의 해석성과 회복성을 높일까?

주요 결과

• 이 프레임워크는 학습된 그래프 네트워크로부터 알려진 힘의 법칙과 해밀토니언을 회복할 수 있다.
• L1 정규화와 병목 제약은 실제 힘과 상관관계가 있는 보다 해석 가능하고 압축된 잠재 메시지를 만들어낸다.
• 내부 GN 구성요소에 기호 회귀를 적용해 물리 법칙과 일치하는 명시적 해석 표현을 추출할 수 있다(예: 1/r^2 힘, 스프링 포텐셜).
• 다크 매터 초과밀도를 인근 질량 분포로 예측하는 새로운 해석적 식이 우주론 데이터에서 발견되어, 수작업으로 설계된 모델과 비슷한 오차를 달성했다.
• 기호 표현이 분포를 벗어난 데이터에 대해 원래의 GN보다 더 잘 일반화되어, 일반화에 대한 기호 해석의 이점을 시사한다.