[논문 리뷰] Crystal Structure Representations for Machine Learning Models of Formation Energies

Felix A. Faber, Alexander Lindmaa외 2명|arXiv (Cornell University)|2015. 01. 01.

Machine Learning in Materials ScienceMaterials Science참고 문헌 3인용 수 18

한 줄 요약

이 논문은 고체의 형성 에너지를 예측하기 위한 기계학습 모델을 위해 세 가지 결정 구조 표현 방식—Ewald 합 행렬, 확장된 쿨롱 행렬, 사인 행렬—을 제안하고 평가한다. 3,938개의 구조를 포함하는 Materials Project 데이터셋을 기반으로 커널 리지 회귀를 수행한 결과, 사인 행렬 표현 방식이 일반화 오차 0.37 eV/atom으로 가장 낮은 성능을 보였으며, Ewald(0.49 eV/atom) 및 확장된 쿨롱(0.64 eV/atom) 방식을 능가했고, 동시에 계산적으로 가장 효율적이었다.

ABSTRACT

We introduce and evaluate a set of feature vector representations of crystal structures for machine learning (ML) models of formation energies of solids. ML models of atomization energies of organic molecules have been successful using a Coulomb matrix representation of the molecule. We consider three ways to generalize such representations to periodic systems: (i) a matrix where each element is related to the Ewald sum of the electrostatic interaction between two different atoms in the unit cell repeated over the lattice; (ii) an extended Coulomb-like matrix that takes into account a number of neighboring unit cells; and (iii) an Ansatz that mimics the periodicity and the basic features of the elements in the Ewald sum matrix by using a sine function of the crystal coordinates of the atoms. The representations are compared for a Laplacian kernel with Manhattan norm, trained to reproduce formation energies using a data set of 3938 crystal structures obtained from the Materials Project. For training sets consisting of 3000 crystals, the generalization error in predicting formation energies of new structures corresponds to (i) 0.49, (ii) 0.64, and (iii) 0.37 eV/atom for the respective representations.

연구 동기 및 목표

• 분자 기계학습 표현 방식(예: 쿨롱 행렬)이 성공적으로 적용된 바를 주기적 결정계로 일반화하기 위해.
• 기계학습을 활용한 형성 에너지 예측에서 세 가지 서로 다른 결정 구조 표현 방식의 성능을 평가하기 위해.
• 고체의 형성 에너지를 모델링하는 데 있어 가장 효율적이고 정확한 표현 방식을 규명하기 위해.
• 학습 데이터셋 크기와 데이터 다양성이 모델의 일반화 오차에 미치는 영향을 평가하기 위해.
• 주기적 시스템에서 형성 에너지 예측을 거의 처음 원리 수준의 정확도에 도달할 수 있는지 탐색하기 위해.

제안 방법

• Ewald 합 행렬 표현 방식은 주기적 경계 조건을 고려하여 Ewald 합산 기법을 사용해 단위 세포 내 원자 간의 전기적 상호작용을 계산한다.
• 확장된 쿨롱 행렬 표현 방식은 이웃한 단위 세포와의 상호작용을 포함시켜 장거리 주기적 효과를 반영하기 위해 쿨롱 행렬 개념을 확장한다.
• 사인 행렬 표현 방식은 원자 좌표의 사인 함수를 사용해 Ewald 합의 주기적 특성을 근사함으로써 계산 비용을 감소시키면서도 핵심적인 구조적 특성을 유지한다.
• Materials Project의 형성 에너지 데이터를 기반으로 라플라시안 커널과 맨하탄 노름을 사용한 커널 리지 회귀를 통해 모델을 훈련시킨다.
• 특성 표현의 구조를 시각화하고 군집화 및 구분 가능성 여부를 평가하기 위해 주성분 분석(PCA)을 적용한다.
• 일반화 오차는 다양한 크기의 학습 데이터셋을 사용한 교차 검증을 통해 평가되며, 성능은 eV/atom 단위로 측정된다.

실험 결과

연구 질문

• RQ1 분자 시스템에 성공적으로 적용된 쿨롱 행렬 표현 방식을 고체의 주기적 결정계에 효과적으로 일반화할 수 있는가?
• RQ2 Ewald 합, 확장된 쿨롱, 사인 행렬과 같은 서로 다른 결정 구조 표현 방식 간의 예측 정확도와 계산 비용을 비교할 수 있는가?
• RQ3 학습 데이터셋 크기가 증가함에 따라 일반화 오차가 감소하는가? 이는 모델의 확장 가능성에 어떤 의미를 갖는가?
• RQ4 유사한 방법을 사용하고 있음에도 불구하고, 고체 시스템의 기계학습 모델 성능이 분자 시스템에 비해 현저히 열 劣한 이유는 무엇인가?
• RQ5 더 컴팩트하고 화학적으로 제한된 데이터 서브셋을 사용하면 모델 정확도가 향상되고 대규모 학습 데이터셋이 필요로 하는 정도가 줄어들 수 있는가?

주요 결과

• 사인 행렬 표현 방식은 3,000개의 구조로 구성된 학습 데이터셋에서 일반화 오차 0.37 eV/atom으로 가장 낮은 성능을 기록했으며, Ewald 합 행렬(0.49 eV/atom) 및 확장된 쿨롱 행렬(0.64 eV/atom)을 모두 앞섰다.
• 세 가지 표현 모두 학습 데이터셋 크기가 증가할수록 일반화 오차가 체계적으로 감소하는 경향을 보였으며, 이는 더 큰 데이터셋이 사용될 경우 성능 향상 잠재력이 있음을 시사한다.
• 사인 행렬 표현 방식은 정확도 뿐 아니라 계산 효율성 면에서도 가장 뛰어나 대규모 응용에 가장 실용적인 선택이 될 수 있다.
• 주성분 분석 결과, 군집 패턴이 뚜렷하게 드러났다: Ewald 합 행렬은 강한 군집화와 이질점이 두드러졌고, 사인 및 확장된 쿨롱 행렬은 서로 유사한 구조를 보였다.
• 분자 시스템과 고체 시스템 간의 성능 격차는 QM7 분자 데이터셋에 비해 Materials Project 데이터셋의 화학적 및 구조적 다양성이 더 크기 때문으로 분석된다.
• 결과적으로 더 큰 또는 더 제한된 학습 데이터를 사용할 경우, 고체 형성 에너지 예측을 위한 기계학습 모델이 거의 처음 원리 수준의 정확도에 도달할 수 있을 것으로 보인다.