[논문 리뷰] N-body Networks: a Covariant Hierarchical Neural Network Architecture for Learning Atomic Potentials

Risi Kondor|arXiv (Cornell University)|2018. 03. 05.

Machine Learning in Materials Science참고 문헌 17인용 수 68

한 줄 요약

N-body 네트워크를 도입한 공변적이고 계층적인 신경망 아키텍처로 원자 포텐셜 에너지 표면을 학습하여, irreducible representations 와 Clebsch–Gordan 분해를 통해 SO(3) 회전 공변성을 보장하고 Fourier-domain 연산을 수행한다.

ABSTRACT

We describe N-body networks, a neural network architecture for learning the behavior and properties of complex many body physical systems. Our specific application is to learn atomic potential energy surfaces for use in molecular dynamics simulations. Our architecture is novel in that (a) it is based on a hierarchical decomposition of the many body system into subsytems, (b) the activations of the network correspond to the internal state of each subsystem, (c) the "neurons" in the network are constructed explicitly so as to guarantee that each of the activations is covariant to rotations, (d) the neurons operate entirely in Fourier space, and the nonlinearities are realized by tensor products followed by Clebsch-Gordan decompositions. As part of the description of our network, we give a characterization of what way the weights of the network may interact with the activations so as to ensure that the covariance property is maintained.

연구 동기 및 목표

• 분자 동역학에서 원자 포텐셜 에너지 표면의 정확하고 확장 가능한 학습 필요성을 동기화한다.
• 회전 공변성을 명시적으로 갖는 서브시스템을 모델링하는 계층적이고 구성 가능한 신경망 아키텍처를 제안한다.
• 네트워크 전체에서 SO(3) 공변성을 보장하기 위한 표현 이론적 프레임워크를 개발한다.
• 다중 스케일 상호작용의 학습을 가능하게 하면서 대칭을 보존하는 실용적 집계 게이트를 제공한다.

제안 방법

• 회전에 따라 공변적으로 변하는 물리적 하위 시스템과 내부 상태를 담는 노드를 포함하는 구성 스키마를 도입한다.
• 그룹 표현(irreps)과 Clebsch–Gordan 분해를 통해 SO(3)-공변 벡터와 등형 성분을 정의한다.
• Φ라는 다항식 형태의 공변성 보존 집계 함수를 형식화하여, 출력이 phi^ell_m의 무지수 조각들의 합으로 표현되고 선형 혼합은 W^ell 행렬을 통해 이루어진다.
• 네트워크의 비선형성은 Fourier(주파수) 공간에서 계산된 텐서 곱과 Clebsch–Gordan 변환을 통해 구현되며, 시간-도메인 비선형성을 피한다.
• 로컬 및 쌍상 상호작용을 효율적으로 포착하기 위한 zeroth- 및 first-order 상호작용 게이트를 제안하여 공변성을 유지한다.
• W^ell 가중치의 공유 및 학습 방식과, phi^ell_m 조각이 자식 상태와 상대 위치의 텐서 곱으로 형성되는 방식을 설명한다.

실험 결과

연구 질문

• RQ1 다체 물리 시스템에 대해 공간 회전(SO(3))에 대해 정확히 공변하는 신경망을 어떻게 설계할 수 있는가?
• RQ2 다중 계층 수준에서 하위 시스템을 결합할 때 어떤 집계 규칙(Phi)이 SO(3) 공변성을 보존하는가?
• RQ3 표현 이론(irreps, Clebsch–Gordan 분해)을 신경망 구조에 통합하여 원자 포텐셜의 효율적이고 공변적인 학습을 가능하게 할 수 있는가?
• RQ4 대칭 제약을 준수하면서 로컬 및 쌍상 상호작용을 포착하는 실용적이고 확장 가능한 게이팅 메커니즘(zeroth 및 first order)은 무엇인가?

주요 결과

• 각 노드가 위치 정보를 가진 물리적 서브시스템과 SO(3) 아래에서 변환되는 내부 상태를 갖는, SO(3)-공변 N-body 네트워크를 제안한다.
• 집계는 불가약 조각으로 분해되어야 하며, 공변성을 보장하기 위해 혼합은 동일한 각운동량 수준(ell)의 조각들로만 제한된다는 것을 보인다(명제 1).
• 비선형성은 Clebsch–Gordan 변환을 사용한 Fourier 공간의 텐서 곱을 통해 구현될 수 있어 시간 도메인 비선형성을 병목으로 제거한다.
• 회전 공변성을 해치지 않으면서 다중 스케일 상호작용을 모델링하기 위한 실용적 게이트 유형(zeroth 및 first order)을 도입한다.
• 공변 신경 아키텍처와 군 표현 이론을 연결하는 형식적 프레임워크를 제공하여 원자 환경의 학습 가능한 다중 스케일 표현을 가능하게 한다.