[논문 리뷰] Physical Symmetries Embedded in Neural Networks

Marios Mattheakis, Pavlos Protopapas외 3명|arXiv (Cornell University)|2019. 04. 18.

Model Reduction and Neural Networks참고 문헌 18인용 수 61

한 줄 요약

이 논문은 허브 뉴런을 통해 신경망에 물리학적 제약을 내재화하여 짝수/홀수 대칭성과 에너지 보존을 강제하고, 에너지 보존적 무감독 DE 해결을 위한 심플렉틱 신경망을 포함합니다. 이는 표준 네트워크에 비해 물리적 충실도와 강인성을 향상시킵니다.

ABSTRACT

Neural networks are a central technique in machine learning. Recent years have seen a wave of interest in applying neural networks to physical systems for which the governing dynamics are known and expressed through differential equations. Two fundamental challenges facing the development of neural networks in physics applications is their lack of interpretability and their physics-agnostic design. The focus of the present work is to embed physical constraints into the structure of the neural network to address the second fundamental challenge. By constraining tunable parameters (such as weights and biases) and adding special layers to the network, the desired constraints are guaranteed to be satisfied without the need for explicit regularization terms. This is demonstrated on upervised and unsupervised networks for two basic symmetries: even/odd symmetry of a function and energy conservation. In the supervised case, the network with embedded constraints is shown to perform well on regression problems while simultaneously obeying the desired constraints whereas a traditional network fits the data but violates the underlying constraints. Finally, a new unsupervised neural network is proposed that guarantees energy conservation through an embedded symplectic structure. The symplectic neural network is used to solve a system of energy-conserving differential equations and out-performs an unsupervised, non-symplectic neural network.

연구 동기 및 목표

• 신학 네트워크 아키텍처에 물리적 제약을 직접 내재화하여 물리학에 대한 편향된 설계와 해석가능성의 문제를 다루고자 한다.
• Explicit한 정규화 없이도 짝수/홀수 대칭성 및 에너지 보존을 강제하는 허브 뉴런을 보여준다.
• 내재 제약이 감독 학습 및 무감독 설정에서 예측 정확도와 물리 법칙의 보존을 동시에 향상시킴을 보여준다.
• 에너지를 보존하는 해석을 목표로 하는 해밀토니안 구조를 제약 기반 손실 및 시도 해를 통해 강제하는 심플렉틱 신경망 아키텍처를 탐구한다.

제안 방법

• 허브 뉴런(hub layer)을 도입하여 도출된 가중치와 바이어스를 통해 대칭성이나 보존을 보장하도록 제약을 강제한다.
• 노이즈가 있는 데이터하에서 짝수/홀수 대칭성에 대한 회귀 작업에 허브-레이어 설계를 적용한다.
• 에너지 제약을 회귀에 내재화하기 위해 에너지 제약을 만족하도록 예측을 보정하는 허브-레이어 ODE 해석기를 도입한다.
• 시도 해를 통해 해밀토니안 구조를 강제하고 제약 기반 손실을 통해 심플렉틱 신경망을 개발한다.
• 헨온-하이리스(Hénon-Heiles) 시스템에서 심플렉틱 NN을 Demonstrate하고 표준 MLP 및 전통적 해석기와 비교한다.

실험 결과

연구 질문

• RQ1 허브 뉴런이 데이터가 노이즈일 때에도 신경망에서 물리적 대칭성(짝수/홀수)을 강제할 수 있는가?
• RQ2 제약이 내재화되어 회귀 작업과 무감독 DE 해결에서 에너지 보존을 보장할 수 있는가?
• RQ3 심플렉틱 신경망이 에너지를 보존하는 동적 시스템에서 에너지 보존성과 해의 질을 향상시키는가?

주요 결과

• 허브 구조가 짝수/홀수 대칭성을 강제하여 노이즈 하에서 대칭성 위반을 감소시키고 학습 속도를 높이는 경향이 있다.
• 에너지 보존 회귀가 물리적 에너지와의 정렬을 개선하며 조화 진동자에 대해 이를 시연한다.
• 심플렉틱 NN은 에너지를 보존하는 DE를 비심플렉틱 NN보다 더 낮은 학습 손실 및 더 나은 에너지 보존으로 해결한다.
• 헨온-하이리스(Hénon–Heiles) 시스템에서 심플렉틱 NN은 표준 NN 및 표준 ODE 해석기보다 일부 지표에서 더 정확한 궤적과 에너지 보존을 제공한다.