[논문 리뷰] Wigner kernels: body-ordered equivariant machine learning without a basis

Filippo Bigi, Sergey N. Pozdnyakov외 1명|arXiv (Cornell University)|2023. 03. 07.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 원자 순서 기반의 3D 포인트 클라우드를 위한 회전 등변성, 신뢰할 수 있는 기계학습 모델을 구축하기 위해 Wigner 커널을 도입한다. 이는 반경-화학 기저에 의존하지 않는다. Wigner의 Clebsch-Gordan 분해를 사용해 특징 공간에서 반복적으로 커널을 계산함으로써, 몸체 순서에 대해 선형 스케일링을 달성하고 QM9에서 스칼라 및 텐서성 성질 예측에 대해 최신 기술 수준의 정확도를 달성한다. 기존 커널 및 신경망 기반 기준선보다 뛰어나다.

ABSTRACT

Machine-learning models based on a point-cloud representation of a physical object are ubiquitous in scientific applications and particularly well-suited to the atomic-scale description of molecules and materials. Among the many different approaches that have been pursued, the description of local atomic environments in terms of their neighbor densities has been used widely and very succesfully. We propose a novel density-based method which involves computing ``Wigner kernels''. These are fully equivariant and body-ordered kernels that can be computed iteratively with a cost that is independent of the radial-chemical basis and grows only linearly with the maximum body-order considered. This is in marked contrast to feature-space models, which comprise an exponentially-growing number of terms with increasing order of correlations. We present several examples of the accuracy of models based on Wigner kernels in chemical applications, for both scalar and tensorial targets, reaching state-of-the-art accuracy on the popular QM9 benchmark dataset, and we discuss the broader relevance of these ideas to equivariant geometric machine-learning.

연구 동기 및 목표

• 특징 공간 모델의 지수적 비용을 피하는 기저 없는 등변 기계학습 프레임워크를 개발함으로써 3D 포인트 클라우드에 적용 가능한 기반을 마련한다.
• 고체체 순서 상관관계를 체계적으로 포착함으로써 원자 척도 성질—특히 텐서성 성질—의 정확한 예측을 가능하게 한다.
• 기본적인 반경-화학 기저 전개에 의존하고 스케일링 문제로 인해 어려움을 겪는 전통적 커널 방법의 한계를 극복한다.
• Wigner의 분해를 통한 반복적 커널 공간 계산이 화학적으로 다양한 체계에 대해 효율적이고 고정확도의 모델을 가능하게 함을 보여준다.
• 체계적인 몸체 순서 밀도 상관관계와 등변 학습에서의 보편적 근사 가능성 간의 연결 고리를 설정하며, 각운동량이 잘라진 경우에도 성립함을 보여준다.

제안 방법

• Wigner의 Clebsch-Gordan 계수를 사용해 커널 공간에서 반복적으로 등변 커널을 구성함으로써 몸체 순서 간의 각운동량 상태를 결합한다.
• 직접적인 기저 전개를 피하기 위해 Wigner 3j-기호의 재귀적 적용을 통해 커널 행렬을 직접 계산함으로써 밀도 상관관계의 기저 없는 평가를 가능하게 한다.
• 커널은 하향식으로 몸체 순서 기반의 전개를 통해 저차수 성분을 텐서 곱 분해를 통해 고차수 성분으로 구성한다.
• 반복적 커널 계산은 최대 몸체 순서 ν_max에 대해 선형으로 증가하므로 전체 특징 공간 모델에서 관찰되는 지수적 증가를 피할 수 있다.
• 커널 구성 과정에서 전체 회전 등변성을 유지함으로써 스칼라 및 벡터 목표 모두를 지원한다.
• 대칭 적응 커널을 사용한 커널 리지 회귀(KRR)를 활용함으로써 특징 엔지니어링 없이도 효율적인 학습과 예측이 가능하다.

실험 결과

연구 질문

• RQ1 기본적인 반경-화학 기저 전개에 의존하지 않고 3D 포인트 클라우드에 대해 완전히 등변성 있는 몸체 순서 기반 커널을 구성할 수 있는가?
• RQ2 Wigner의 분해를 통한 반복적 커널 공간 계산은 특징 공간 방법과 비교해 스케일링과 정확도 측면에서 어떻게 다른가?
• RQ3 Wigner 커널은 각운동량이 잘라진 경우에도 분자 및 클러스터 체계에서 고체체 순서 상관관계를 얼마나 잘 포착할 수 있는가?
• RQ4 Wigner 커널은 QM9와 같은 벤치마크 데이터셋에서 스칼라 및 텐서성 성질 예측에 대해 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 기저 공간 대비 커널 공간 파arameterization의 영향은 화학적으로 다양한 데이터셋에서 모델의 효율성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Wigner 커널은 QM9 데이터셋에서 최신 기술 수준의 정확도를 달성하여 기체화 에너지를 평균 절대 오차 0.1 kcal/mol로 예측한다.
• 모델은 몸체 순서 ν_max 증가에 따라 체계적으로 수렴하며, 금 클러스터의 경우 ν_max = 6에서 거의 수렴 상태에 도달함을 보여, 고차수 상관관계의 기여가 크다는 것을 시사한다.
• QM9의 전기 dipole 모멘트 예측에서 Wigner 커널은 표준 커널 방법과 광범위하게 튜닝된 등변 신경망 모두를 능가한다.
• 각운동량(λ_max)을 극도로 잘라내도 높은 정확도를 유지함으로써, Wigner 커널이 암묵적으로 고해상도 기저 함수를 포함하고 있음을 시사한다.
• 계산 비용은 ν_max에 대해 선형으로 증가하며 기저의 영향을 받지 않아 화학적으로 다양한 체계의 효율적 모델링이 가능하다.
• 랜덤 메탄 데이터셋에 대한 벤치마크 결과, 반복적 커널 공간 구성 덕분에 Wigner 커널은 중간 수준의 λ_max에서도 복잡한 각운동량 상관관계를 효과적으로 포착함을 확인했다.