[논문 리뷰] Hybrid localized graph kernel for machine learning energy-related properties of molecules and solids

Bastien Casier, Maurício Chagas da Silva외 5명|arXiv (Cornell University)|2020. 11. 14.

Machine Learning in Materials Science참고 문헌 72인용 수 4

한 줄 요약

이 논문은 화학적 패턴 인식을 위한 레이블링된 그래프 커널과 미세한 기하학적 세부 정보를 위한 쿨롱 레이블을 조합한 하이브리드 국소 그래프 커널(HMPP)을 소개한다. 이는 분자 및 고체의 에너지 관련 성질 예측에서 회귀 정확도를 크게 향상시킨다. QM7 및 BA10 데이터셋에서 HMPP 커널은 SOAP 및 전통적인 그래프 커널을 능가하며, 특히 더 큰 훈련 세트에서 뛰어난 성능을 보이며 원자화 및 생성 에너지 예측 분야에서 최신 기술 수준에 도달한다.

ABSTRACT

Nowadays, the coupling of electronic structure and machine learning techniques serves as a powerful tool to predict chemical and physical properties of a broad range of systems. With the aim of improving the accuracy of predictions, a large number of representations for molecules and solids for machine learning applications has been developed. In this work we propose a novel descriptor based on the notion of molecular graph. While graphs are largely employed in classification problems in cheminformatics or bioinformatics, they are not often used in regression problem, especially of energy-related properties. Our method is based on a local decomposition of atomic environments and on the hybridization of two kernel functions: a graph kernel contribution that describes the chemical pattern and a Coulomb label contribution that 1encodes finer details of the local geometry. The accuracy of this new kernel method in energy predictions of molecular and condensed phase systems is demonstrated by considering the popular QM7 and BA10 datasets. These examples show that the hybrid localized graph kernel outperforms traditional approaches such as, for example, the smooth overlap of atomic positions (SOAP) and the Coulomb matrices.

연구 동기 및 목표

• 기계학습 회귀 분석을 위한 더 정확한 구조적 기술자 개발을 목적으로 한다.
• 에너지 관련 성질 예측에 핵심적인 미세한 기하학적 변형을 포착하지 못하는 표준 그래프 커널의 한계를 해결한다.
• 하이브리드 커널 프레임워크를 통해 위상적 그래프 패턴과 세밀한 기하학적 정보를 융합한다.
• 국소 원자 환경 분해를 활용하여 일반화 능력과 학습 확장성 향상을 도모한다.
• 특히 훈련 데이터가 증가함에 따라 랜드마크 데이터셋에서 에너지 성질 예측 성능을 뛰어나게 보여준다.

제안 방법

• 분자 및 고체 시스템을 국소 원자 환경으로 분해하여 국소 유사도 계산을 가능하게 한다.
• 화학적 결합 및 원자 유형 패턴을 인코딩하기 위해 레이블링된 그래프 커널(LGK)을 사용한다.
• 쿨롱 레이블 구성요소가 원자 간 거리 및 전하와 같은 세밀한 기하학적 정보를 포착한다.
• 위상적 기여와 기하학적 기여를 균형 잡기 위해 초수치 α를 통해 두 성분을 하이브리드화한다.
• 최종 커널는 에너지 예측을 위해 커널 리지 회귀(KRR) 또는 가우시안 프로세스 회귀(GPR)에 사용된다.
• 핵심 대칭 요구 조건인 회전, 이동 및 원자 순열 불변성을 보장한다.

실험 결과

연구 질문

• RQ1 그래프 위상과 기하학적 세부 정보를 융합한 하이브리드 커널이 분자 및 고체에서 에너지 성질 예측의 회귀 정확도를 향상시킬 수 있는가?
• RQ2 표준 데이터셋에서 SOAP 및 쿨롱 행렬과 같은 기존 기술자와 비교해 하이브리드 국소 그래프 커널의 성능은 어떠한가?
• RQ3 훈련 세트 크기가 증가함에 따라 하이브리드 커널이 학습 효율성과 확장성에 유리한가?
• RQ4 쿨롱 레이블의 포함이 구조적으로 유사하지만 에너지적으로 다를 수 있는 구조를 구분하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ5 이 방법은 분자 및 이원계 합금을 포함한 다양한 화학 체계에서 효과적으로 일반화될 수 있는가?

주요 결과

• QM7 데이터셋에서 HMPP 커널은 1000개의 훈련 구조를 사용하여 평균 절대 오차(MAE) 0.12 kcal/mol 및 루트 평균 제곱 오차(RMSE) 0.17 kcal/mol을 달성했다.
• BA10 데이터셋에서 훈련 세트 크기가 1000개를 초과할 경우 HMPP 커널은 학습 곡선 포화 현상이 덜 발생하면서 SOAP을 능가했다.
• BA10 데이터셋에서 HMPP 커널은 MAE 0.12 kcal/mol 및 RMSE 0.17 kcal/mol을 기록했으며, 최신 기술 수준의 MBTR 커널과 유사한 성능을 보였다.
• HMPP 방법은 훈련 데이터가 증가함에 따라 일관되게 오차가 감소하는 경향을 보였으며, SOAP는 1000점 이상에서 성능 포화 현상을 보였다.
• BA10 데이터셋의 대부분의 이원계 합금에서 HMPP 커널은 SOAP보다 낮은 RMSE를 기록했으며, AlMg를 제외한 모든 경우에서 성능이 뛰어났다. 이는 초수치 조정의 한계로 인해 영향을 받은 것으로 판단된다.
• 하이브리드 커널는 특히 복잡한 전자 구조를 가진 응집상 시스템에서 에너지 회귀 과제에서 뛰어난 일반화 능력과 강건성을 보였다.