[논문 리뷰] Scalars are universal: Equivariant machine learning, structured like classical physics

Soledad Villar, David W. Hogg외 3명|arXiv (Cornell University)|2021. 06. 11.

Computational Physics and Python Applications인용 수 34

한 줄 요약

본 연구는 유클리드, 로렌츠, 포인카레 대칭 하의 광범위한 등변 함수 클래스가 불변 스칼라 곱과 수축만으로 보편적으로 근사될 수 있음을 보여주고, 확장 가능한 스칼라 기반 신경망 아키텍처를 가능하게 한다.

ABSTRACT

There has been enormous progress in the last few years in designing neural networks that respect the fundamental symmetries and coordinate freedoms of physical law. Some of these frameworks make use of irreducible representations, some make use of high-order tensor objects, and some apply symmetry-enforcing constraints. Different physical laws obey different combinations of fundamental symmetries, but a large fraction (possibly all) of classical physics is equivariant to translation, rotation, reflection (parity), boost (relativity), and permutations. Here we show that it is simple to parameterize universally approximating polynomial functions that are equivariant under these symmetries, or under the Euclidean, Lorentz, and Poincaré groups, at any dimensionality $d$. The key observation is that nonlinear O($d$)-equivariant (and related-group-equivariant) functions can be universally expressed in terms of a lightweight collection of scalars -- scalar products and scalar contractions of the scalar, vector, and tensor inputs. We complement our theory with numerical examples that show that the scalar-based method is simple, efficient, and scalable.

연구 동기 및 목표

• 여러 그룹 및 차원에 걸쳐 정확한 물리 대칭을 존중하는 머신러닝 모델의 구축을 고무한다.
• 스칼라 곱과 수축을 사용하여 고전 물리 대칭에 대한 모든 불변 및 등변 함수를 특징짓고 매개변수화한다.
• 다수의 그룹에 대해 명시적 불변 표현 분해를 우회하는 확장 가능하고 보편적인 프레임워크를 제공한다.

제안 방법

• 일차 기본 정리에 따라 O(d) 및 로렌츠 불변 스칼라를 묘사하는 불변 스칼라 함수가 충분하다는 것을 보인다.
• O(d) 및 O(1,d)-등변 벡터 함수는 불변 스칼라 함수의 합으로 입력 벡터에 곱해진 형태로 표현될 수 있음을 보인다 (h(v1,...,vn)=sum_t f_t(...) v_t).
• 일반화된 외적과 함께 SO(d)에 대한 묘사를 확장하고 필요에 따라 예외적인 스팬을 다룬다.
• 평행이동과 로렌츠 불변성을 포함하는 유클리드 및 포인카레 군으로 확장하고 대응하는 스칼라 계수 함수와 함께 확장한다.
• 매개변수를 형식화하는 명제와 보조정리(예: 제1 기본 정리, 평행이동 불변성 축약 등)를 제공한다.
• 이론을 실용적 신경망 설계와 연결하고 전체 irreps 대신 스칼라를 사용하는 잠재적 근사에 대해 논의한다.

실험 결과

연구 질문

• RQ1 고전 물리 대칭하의 모든 불변 및 등변 함수가 오직 스칼라 곱과 수축만으로 포착될 수 있는가?
• RQ2 이러한 스칼라 기반 특성화가 irreps에 의존하지 않고 보편 근사를 달성하기 위해 신경망에 어떻게 구현될 수 있는가?
• RQ3 모든 불변/등변 매핑을 생성하는 정확한 수학적 형태와 조건은 무엇인가( O(d), SO(d), Lorentz, Poincaré, 평행이동, 순열에 대해)?
• RQ4 이 스칼라 중심 접근법을 실제 물리 문제에 적용할 때의 한계점과 실용적 고려사항은 무엇인가?

주요 결과

• 유클리드, 로렌츠, 포인카레 그룹 하의 광범위한 불변 및 등변 함수는 불변 스칼라와 선형 스칼라 수축만으로 표현될 수 있다.
• O(d) 및 O(1,d)-등변 벡터 함수는 스칼라 계수 함수의 합으로 입력 벡터를 곱한 형태로 표현될 수 있으며, 다항식 경우는 여전히 다항식이다.
• SO(d)의 경우 일반화된 외적이 스칼라-수축 프레임워크를 확장하여 특정 스패닝 구성에서 제외된 모든 등변 벡터를 포착하고, 이는 추가 항으로 보완된다.
• 이 접근법은 간단하고 확장 가능한 아키텍처를 제공하여 등변 함수를 보편적으로 근사할 수 있게 하며, 표현 이론 중심의 방법에 대한 원칙적인 대안을 제시한다.
• 평행이동과 로렌츠 불변성은 민코프스키 내적의 불변 스칼라 함수로 축약함으로써 도입할 수 있으며, 포인카레 작용 하에서 등변성을 보존한다.
• 에너지, 전자기 힘 등과 같은 기존 물리 영감을 받은 표현들과 프레임워크를 연결하여 그 구성요소를 불변 스칼라 곱 벡터의 형태로 보이는 것을 보인다.