[논문 리뷰] Transfer learning for atomistic simulations using GNNs and kernel mean embeddings

Isak Falk, Leo H. Bonati외 3명|arXiv (Cornell University)|2023. 06. 02.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 OC20 데이터셋에서 사전 훈련된 그래프 신경망(GNN) 표현과 커널 평균 임베딩을 조합하여 원자 시스템의 포텐셜 에너지 표면을 모델링하는 전이 학습 프레임워크인 평균 임베딩 커널 리지레그RESSION(MEKRR)을 제안한다. 화학 종 정보를 새로운 커널 함수에 통합함으로써 MEKRR는 촉매 시스템에서 최신 기술 수준의 성능을 달성하여 독립적인 GNN 또는 리지레그RESSION보다 뛰어나며, 분포 외 데이터에 대해 최대 70%까지 테스트 오차를 감소시킨다.

ABSTRACT

Interatomic potentials learned using machine learning methods have been successfully applied to atomistic simulations. However, accurate models require large training datasets, while generating reference calculations is computationally demanding. To bypass this difficulty, we propose a transfer learning algorithm that leverages the ability of graph neural networks (GNNs) to represent chemical environments together with kernel mean embeddings. We extract a feature map from GNNs pre-trained on the OC20 dataset and use it to learn the potential energy surface from system-specific datasets of catalytic processes. Our method is further enhanced by incorporating into the kernel the chemical species information, resulting in improved performance and interpretability. We test our approach on a series of realistic datasets of increasing complexity, showing excellent generalization and transferability performance, and improving on methods that rely on GNNs or ridge regression alone, as well as similar fine-tuning approaches.

연구 동기 및 목표

• 원자 시뮬레이션에서 정확한 상호원자 포텐셜을 훈련하기 위한 높은 데이터 및 계산 비용 문제를 해결하기 위해.
• 사전 훈련된 GNN 표현을 활용하여 복잡한 촉매 시스템에 대해 데이터 효율적이고 빠른 전이 학습을 가능하게 하기 위해.
• 화학 종을 인코딩하는 물리 기반 커널 함수와 GNN 특징을 조합함으로써 일반화 및 전이 가능성 향상을 위해.
• 물리적 대칭성(회전-이동 대칭성 및 순열 대칭성)을 유지하면서도 해석 가능성과 성능 향상을 동시에 달성하기 위해.
• 사전 훈련 분포를 벗어난 점점 더 복잡한 분포 외 데이터셋에 대해 본 방법의 효과성을 입증하기 위해.

제안 방법

• 촉매 시스템의 약 2.6억 개의 DFT-편안한 구성을 포함하는 대규모 OC20 데이터셋에서 GNN(예: SchNet 또는 SCN)을 사전 훈련한다.
• 원자 환경의 표현으로서 고정된 사전 훈련된 GNN 특징을 추출하며, 이는 회전-이동 불변성을 유지한다.
• 순열 대칭성을 강제하고 가시적 가중치를 통해 화학 종 정보를 통합하는 커널 평균 임베딩 기반의 커널 함수를 정의한다.
• 제안된 커널을 사용하여 소규모의 시스템 전용 데이터셋에서 포텐셜 에너지 표면을 리지레그RESSION한다.
• 교차 검증을 통해 커널 가중치를 최적화하여 표면 촉매에서 부족하게 표현된 원자 종을 강조한다.
• 커널 행렬을 사용한 스펙트럼 클러스터링을 적용하여 결합 끊어짐과 같은 반응 이벤트를 탐지함으로써, 회귀를 넘어서 해석 가능성의 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 GNN 표현과 커널 평균 임베딩을 조합하면 원자 시스템의 포텐셜 에너지 표면 모델링에 효과적인 전이 학습을 가능하게 하는가?
• RQ2 커널 함수에 화학 종 정보를 통합할 경우 모델 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 사전 훈련 기간 동안 볼 수 없었던 분포 외 데이터셋으로의 일반화 능력은 어느 정도인가?
• RQ4 명시적 레이블 없이도 커널 기반의 유사도 측정이 결합 끊어짐과 같은 물리적 이벤트를 탐지할 수 있는가?
• RQ5 MEKRR는 미세조정된 GNN 또는 독립적인 커널 방법에 비해 데이터 효율성과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• SchNet 특징을 사용한 MEKRR는 D1→D2 전이에서 감독 학습된 SchNet 대비 테스트 오차를 68% 감소시켰으며, 8.0 meV/atom의 성능을 달성했다.
• 가장 복잡한 데이터셋(D4)에서 MEKRR는 SCN 특징을 사용해 테스트 오차 55 meV/atom를 기록했으며, 미세조정된 SchNet-FT(116 meV/atom)를 뛰어넘었다.
• 사전 훈련 세트에 존재하지 않는 N-N 결합 끊어짐을 포함한 구성도 포함된 분포 외 데이터에서 강력한 일반화 능력을 보였다.
• 다중 가중치 커널(α=1)은 N-N 거리와 같은 물리적 관측치와 더 밀접한 상관관계를 보였으며, 주요 반응 이벤트에 대한 민감도 향상을 나타냈다.
• 커널 행렬을 기반으로 한 스펙트럼 클러스터링은 결합 끊어짐 궤적에서 반응물 및 생성물 상태를 성공적으로 식별했으며, 커널의 물리적 해석 가능성에 대한 유효성을 입증했다.
• 화학 종 인식 커널 가중치의 포함으로 촉매 시스템에서 특히 부족하게 표현된 종(예: 표면에 흡착된 원자)에 대한 성능 향상이 이루어졌다.