[논문 리뷰] Steerable Wavelet Scattering for 3D Atomic Systems with Application to Li-Si Energy Prediction

Xavier Brumwell, Paul Sinz외 3명|arXiv (Cornell University)|2018. 11. 21.

Machine Learning in Materials Science참고 문헌 34인용 수 5

한 줄 요약

이 논문은 3차원 원자 시스템을 위한 기울일 수 있는 웨이브릿 스캐터링 프레임워크를 소개하며, 회전 및 이동 불변성 웨이브릿 계수를 활용해 물질 성질을 모델링한다. 이 방법은 비정질 리튬-실리콘 시스템의 형성 에너지를 예측하는 데 최신 기술 수준의 성능을 달성하여, 새로운 종류의 원자 궤도 웨이브릿에서 유도된 스캐터링 계수를 사용한 선형 회귀 모델을 통해 원자당 0.78±0.01 meV의 평균 절대 오차(MAE)를 기록한다.

ABSTRACT

A general machine learning architecture is introduced that uses wavelet scattering coefficients of an inputted three dimensional signal as features. Solid harmonic wavelet scattering transforms of three dimensional signals were previously introduced in a machine learning framework for the regression of properties of small organic molecules. Here this approach is extended for general steerable wavelets which are equivariant to translations and rotations, resulting in a sparse model of the target function. The scattering coefficients inherit from the wavelets invariance to translations and rotations. As an illustration of this approach a linear regression model is learned for the formation energy of amorphous lithium-silicon material states trained over a database generated using plane-wave Density Functional Theory methods. State-of-the-art results are produced as compared to other machine learning approaches over similarly generated databases.

연구 동기 및 목표

• 이동 및 회전 불변성과 같은 기본 대칭성을 존중하는 다스케일 재료 모델링을 위한 일반적인 기계학습 아키텍처를 개발하는 것.
• 기울일 수 있는 웨이브릿을 사용해 3차원 원자 시스템으로 웨이브릿 스캐터링을 확장하는 것.
• 비정질 리튬-실리콘 시스템의 형성 에너지 예측을 위한 희소하고 해석 가능하며 정확한 선형 회귀 모델을 구축하는 것.
• 웨이브릿 스캐터링 특징이 복잡한 원자 시스템에서의 구조적 변동성과 물리적 상관관계를 얼마나 잘 포착하는지 확인하는 것.

제안 방법

• 방사형 함수와 구면 조화함수로 정의된 3차원 기울일 수 있는 웨이브릿의 일반적 클래스를 사용하여, 회전 및 이동에 대해 동치성을 보장한다.
• 웨이브릿 스캐터링 계수는 웨이브릿 변환과 비선형성의 연쇄적 조합을 통해 계산되며, 원자 구성의 불변 표현을 생성한다.
• 스캐터링 변환은 학습되지 않은 고정된 웨이브릿 필터 베드를 사용하여 CNN에서의 학습된 필터를 대체하며, 다스케일 및 기하학적으로 민감한 특징을 생성한다.
• 선형 회귀 모델은 스캐터링 계수에 대해 훈련되어 형성 에너지를 예측하며, 특징 선택은 탐욕적 전진 선택 방식을 통해 수행된다.
• 웨이브릿의 방사형 성분은 원자 시스템에 맞게 조정되어, 고체 조화 웨이브릿을 일반화하는 새로운 원자 궤도 웨이브릿의 가족을 이룬다.
• 계수의 정규화는 시스템 크기 변화에 불변성을 보장하여 다양한 원자 구성에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 기울일 수 있는 웨이브릿 스캐터링은 기계학습에 적합한 3차원 원자 시스템의 회전 및 이동 불변 표현을 제공할 수 있는가?
• RQ2 웨이브릿 스캐터링 계수는 비정질 리튬-실리콘 시스템의 구조적 및 에너지 변동성을 얼마나 잘 포착하는가?
• RQ3 이러한 계수를 기반으로 한 선형 모델은 동일한 데이터셋에서 다른 기계학습 방법과 비교해 형성 에너지 예측에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ4 결과 모델이 얼마나 희소하고 해석 가능하며, 어떤 특징이 에너지 예측에 가장 유의미한가?
• RQ5 방사형 웨이브릿 함수의 선택이 모델의 성능과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 이 모델은 리튬-실리콘 형성 에너지 예측 과제에서 평균 절대 오차(MAE) 0.78±0.01 meV/atom, 루트 평균 제곱 오차(RMSE) 1.24±0.05 meV/atom를 기록하여, 유사한 데이터베이스에서 훈련된 다른 기계학습 방법보다 뛰어난 성능을 보였다.
• 첫 번째 몇 개의 스캐터링 계수를 포함함에 따라 오차가 급격히 감소하여, 소수의 특징으로도 높은 예측 능력을 가진 희소 모델임을 시사한다.
• 검증 및 훈련 곡선이 밀접하게 일치하여, 모델이 노이즈에 과적합되지 않고 잘 일반화됨을 나타낸다.
• 모델은 리튬 전용 채널과 전력 q=2인 2차 계수에서 유래한 특징을 선호하여, 결합과 에너지 기여에서 리튬의 주요한 역할을 반영한다.
• 특징 선택 결과, 유사한 척도의 웨이브릿을 결합하는 데 대한 선호도와 계수 가중치의 급격한 감소가 확인되어, 모델의 희소성과 해석 가능성의 신뢰성을 뒷받침한다.
• 웨이브릿 전체에 걸친 가중치 합에 명확한 공간 패턴이 없었으며, 이는 예측 능력이 특정 웨이브릿에 국한되지 않고 여러 척도와 채널에 걸쳐 분포되어 있음을 의미한다.