[논문 리뷰] Injecting Domain Knowledge from Empirical Interatomic Potentials to Neural Networks for Predicting Material Properties

Zeren Shui, Daniel S. Karls외 4명|arXiv (Cornell University)|2022. 10. 14.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 신경망(NN) 포텐셜의 일반화 능력을 향상시키기 위해 경험적 원자간 포텐셜(EIPs)에서 도메인 지식을 주입하기 위한 두 가지 일반적인 전략—약한 지도 학습을 통한 레이블 증강 및 전이 학습을 통한 다중작업 미리학습—을 제안한다. 비라벨링된 구성과 EIP 에너지를 대체 레이블로 활용함으로써, 기준 데이터셋에서 성능을 최대 55% 향상시키며, 두 전략을 결합할 경우 더 큰 성능 향상이 이루어진다.

ABSTRACT

For decades, atomistic modeling has played a crucial role in predicting the behavior of materials in numerous fields ranging from nanotechnology to drug discovery. The most accurate methods in this domain are rooted in first-principles quantum mechanical calculations such as density functional theory (DFT). Because these methods have remained computationally prohibitive, practitioners have traditionally focused on defining physically motivated closed-form expressions known as empirical interatomic potentials (EIPs) that approximately model the interactions between atoms in materials. In recent years, neural network (NN)-based potentials trained on quantum mechanical (DFT-labeled) data have emerged as a more accurate alternative to conventional EIPs. However, the generalizability of these models relies heavily on the amount of labeled training data, which is often still insufficient to generate models suitable for general-purpose applications. In this paper, we propose two generic strategies that take advantage of unlabeled training instances to inject domain knowledge from conventional EIPs to NNs in order to increase their generalizability. The first strategy, based on weakly supervised learning, trains an auxiliary classifier on EIPs and selects the best-performing EIP to generate energies to supplement the ground-truth DFT energies in training the NN. The second strategy, based on transfer learning, first pretrains the NN on a large set of easily obtainable EIP energies, and then fine-tunes it on ground-truth DFT energies. Experimental results on three benchmark datasets demonstrate that the first strategy improves baseline NN performance by 5% to 51% while the second improves baseline performance by up to 55%. Combining them further boosts performance.

연구 동기 및 목표

• 고정밀도 DFT 데이터가 계산적으로 비용이 많이 들고 제한되어 있는 물질의 신경망 포텐셜 학습에서의 레이블 부족 문제를 해결한다.
• 경험적 원자간 포텐셜(EIPs)의 물리적 일관성과 계산 효율성을 활용하여 NN 포텐셜의 일반화 능력을 향상시키기 위한 도메인 지식의 원천으로 삼는다.
• 추가적인 DFT 계산이 필요 없이 EIP 유래 지도 정보를 신경망 학습에 통합하기 위한 일반적이고 이식 가능한 전략을 개발한다.
• EIP가 고품질이며 확장 가능한 지도 신호로 작용할 수 있음을 입증한다. 이는 더 강력하고 일반화 능력이 뛰어난 기계학습 포텐셜을 훈련시키는 데 기여한다.

제안 방법

• DFT로 레이블링된 데이터를 기반으로 보조 분류기 학습을 통해 각 비라벨링된 구성에 대해 가장 우수한 성능을 보이는 EIP를 예측하는 약한 지도 학습 레이블 증강 전략을 제안한다. 이후 EIP의 에너지를 대체 레이블로 사용한다.
• 노이즈와 이상치의 영향을 줄이기 위해 강력한 회귀 손실 함수(Tukey 손실)를 사용하여, DFT로 레이블링된 데이터와 EIP로 지도된 비라벨링 데이터로 구성된 확장된 데이터셋에서 NN 포텐셜을 훈련시킨다.
• 다중작업 미리학습 전략을 도입한다. 먼저 대규모 EIP 예측 에너지에서 NN의 표현 헤드를 미리 학습한 후, DFT로 레이블링된 데이터에서 미세조정한다.
• 지식 주입 과정을 모델 구조에서 분리함으로써, 어떤 NN 포텐셜 아키텍처에도 쉽게 통합할 수 있도록 한다.
• t-SNE 시각화를 통해 미리학습이 학습된 표현 공간에서 더 매끄럽고 물리적으로 의미 있는 에너지 경관을 만들어내는 것으로 확인한다.
• Tukey 손실의 효과성과 EIP 선택의 영향을 검증하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 DFT로 레이블링된 데이터가 부족한 상황에서 경험적 원자간 포텐셜(EIPs)이 효과적이고 확장 가능한 지도 신호로 작용할 수 있는가?
• RQ2 DFT 데이터만으로 학습하는 것과 비교해, EIP 예측을 활용한 약한 지도 학습 레이블 증강 전략이 NN 포텐셜의 일반화 능력을 얼마나 향상시키는가?
• RQ3 EIP 에너지에서의 다중작업 미리학습이 NN 포텐셜의 표현 능력과 최종 성능을 얼마나 향상시키는가?
• RQ4 두 전략을 결합할 경우 다양한 물질 체계에서 예측 정확도 향상에 상호보완적인 효과를 보이는가?
• RQ5 제안된 방법은 노이즈가 있거나 정확도가 떨어지는 EIP 예측에 얼마나 강인한가? 그리고 이 문제를 최소화하는 데 가장 효과적인 손실 함수는 무엇인가?

주요 결과

• 레이블 증강 전략은 세 가지 기준 데이터셋에서 기준 NN 성능을 5%에서 51%까지 향상시키며, 대체 EIP 레이블을 사용함에도 불구하고 뚜렷한 성능 향상을 보였다.
• 다중작업 미리학습 전략은 기준 성능을 최대 55% 향상시켰으며, EIP 에너지에서의 미리학습이 일반화 능력과 표현 품질을 향상시킨다는 것을 보여주었다.
• 두 전략을 결합할 경우 성능 향상이 더욱 뚜렷해지며, 약한 지도 학습과 표현 미리학습 간 상호보완적인 이점이 있음을 확인했다.
• 분석 실험 결과, Tukey 손실이 노이즈가 있거나 이상치가 있는 EIP 예측의 영향을 효과적으로 줄이는 것으로 나타났으며, MSE 손실을 사용할 경우 성능 저하가 발생했다.
• t-SNE 시각화 결과, 다중작업 미리학습이 잠재 표현 공간에서 더 매끄럽고 구조화된 에너지 경관을 만들어내며, 격자상태와 클러스터 상태 구성이 명확하게 군집화되어 있음을 확인했다.
• 이 방법은 SchNet과 SOAPNet을 포함한 다양한 NN 포텐셜 아키텍처에 적용 가능하며, Si, Al 및 ANI-1 데이터셋을 포함한 여러 데이터셋에 대해 일반적으로 적용 가능하다.