[논문 리뷰] Machine-Learning-Based Exchange-Correlation Functional with Physical Asymptotic Constraints

Ryo Nagai, Ryosuke Akashi외 1명|arXiv (Cornell University)|2021. 11. 30.

Machine Learning in Materials Science인용 수 10

한 줄 요약

이 논문은 3차원 물질에서 알려진 물리적 점 渐진적 제약 조건을 새로운 신경망 아키텍처를 통해 강제하는 기계학습 기반의 전자상관관계 기능을 제안한다. 모델 구조에 분석적 제약 조건을 통합함으로써, 기존의 기능들보다 더 높은 정확도와 더 나은 일반화 성능을 달성하며, 훈련 데이터 분포 외의 물질에 대해서도 성능이 뛰어나 표준 DFT 기능들보다 다양한 시스템에서 뛰어난 성능을 보인다.

ABSTRACT

Density functional theory is the standard theory for computing the electronic structure of materials, which is based on a functional that maps the electron density to the energy. However, a rigorous form of the functional is not known and has been heuristically constructed by interpolating asymptotic constraints known for extreme situations, such as isolated atoms and uniform electron gas. Recent studies have demonstrated that the functional can be effectively approximated using machine learning (ML) approaches. However, most ML models do not satisfy asymptotic constraints. In this study, by applying a novel ML model architecture, we demonstrate a neural network-based exchange-correlation functional satisfying physical asymptotic constraints. Calculations reveal that the trained functional is applicable to various materials with an accuracy higher than that of existing functionals, even for materials whose electronic properties are different from the properties of materials in the training dataset. Our proposed approach thus improves the accuracy and generalization performance of the ML-based functional by combining the advantages of ML and analytical modeling.

연구 동기 및 목표

• 3차원 물질에서 알려진 물리적 점 渐진적 제약 조건을 만족하는 기계학습 기반의 전자상관관계 기능을 개발하기 위해.
• 훈련 데이터 분포 외의 물질에 적용했을 때 표준 기계학습 기능들의 열악한 일반화 성능을 극복하기 위해.
• 신경망의 유연성과 분석적 제약 조건의 물리적 일관성을 조합함으로써 DFT 계산의 정확도와 안정성을 향상시키기 위해.
• 훈련 세트의 물질과 다른 전자적 성질을 가진 다양한 물질에 대해 신뢰할 수 있는 예측을 가능하게 하기 위해.

제안 방법

• 물리적 점 渐진적 제약 조건—예를 들어 균일 전자 가스 극한과 원자 극한—을 기능 형태에 직접 통합할 수 있도록 맞춤형 신경망 아키텍처를 설계하였다.
• 출력값이 음수가 되지 않도록 하며, 입력값이 0일 때 올바른 행동을 보장하기 위해 계수를 조정한 수정된 소프트플러스 활성화 함수를 사용하였다. 이는 물리적 일관성을 보장한다.
• 기능은 신경망 출력과 제약 조건을 유지하는 변환의 조합으로 구성되어 있으며, 최종 XC 에너지가 알려진 이론적 극한을 존중하도록 보장한다.
• 기본적으로 Kohn–Sham 방정식의 기울기 계산을 피하기 위해, 무작위 가중치 변형과 손실 향상 기반 수용 기준을 사용하는 시뮬레이티드 어닐링 최적화 기법을 적용하였다.
• 고정밀도 커플드 클러스터 데이터를 144개의 소형 및 중형 분자에 대해 기준으로 사용하여 고정밀 학습을 보장하였다.
• 훈련 후, 원자 해리 에너지 테스트 세트에서의 평균 절대 오차를 기반으로 가장 성능이 뛰어난 모델 가중치를 선별하였다.

실험 결과

연구 질문

• RQ1 3차원 시스템에서 알려진 물리적 점 渐진적 제약 조건을 만족하는 기계학습 모델을 XC 기능에 설계할 수 있는가?
• RQ2 물리적 제약 조건을 강제하면 훈련 데이터 분포 외의 영역에서 기계학습 기반 XC 기능의 일반화 성능이 향상되는가?
• RQ3 신경망 기반 XC 기능이 훈련 세트에 포함되지 않은 물질에 대해서도 기존 기능들인 SCAN과 PBE보다 더 높은 정확도를 달성할 수 있는가?
• RQ4 물리적 제약 조건의 통합이 Kohn–Sham 자성계산의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ5 물리적 제약 조건이 정확한 기계학습 기반 XC 기능을 학습시키기 위한 데이터 요구량을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 기계학습 기반 XC 기능은 아키텍처 설계를 통해 균일 전자 가스 극한과 원자 극한을 포함한 모든 목표 물리적 점 渐진적 제약 조건을 만족한다.
• 훈련 세트의 전자적 성질과 다를 수 있는 다양한 물질에 대해 SCAN 기능보다 더 높은 정확도를 달성한다.
• 훈련 분포 외의 시스템에 대해서도 Kohn–Sham 계산에서 강력한 수렴성과 안정성을 보였다.
• 물리적 제약 조건을 통합함으로써 일반화 성능을 향상시켜, 대규모이고 다양한 훈련 데이터 세트에 대한 의존도를 감소시켰다.
• 최종 모델은 144개 분자의 테스트 세트에서 평균 절대 오차 0.95 kcal/mol을 기록하여, SCAN 기능의 1.2 kcal/mol 오차를 뛰어넘었다.
• 훈련 데이터에 포함되지 않은 물질에 대해서도 정확한 예측을 가능하게 하여 강력한 전이 가능성과 신뢰성을 입증하였다.