[논문 리뷰] Using differentiable programming to obtain an energy and density-optimized exchange-correlation functional

Sebastian Dick, Mariví Fernández-Serra|arXiv (Cornell University)|2021. 06. 08.

Machine Learning in Materials Science참고 문헌 44인용 수 4

한 줄 요약

이 논문은 신경망 기반 메타-GGA 교환-상관 기능을 에너지 오차와 밀도 오차를 동시에 최소화하는 방식으로 최적화하기 위해 미분 가능 프로그래밍 기반의 xc-diff를 소개한다. JAX를 통해 자동 미분을 활용하면서 정확한 물리적 제약 조건을 적용함으로써, 비경험적 기능들 중에서 최고의 정확도를 달성하였으며, 에너지 및 밀도 예측에서 기존의 SCAN 및 B3LYP와 같은 방법들을 뛰어넘었다. 또한 기능 평가를 위한 새로운 복합 오차 지표인 에너지-밀도 오차 지표를 도입하였다.

ABSTRACT

Using an end-to-end differentiable implementation of the Kohn-Sham self-consistent field equations, we obtain an accurate neural network-based exchange and correlation (XC) functional of the electronic density. The functional is optimized using information on both energy and density while exact constraints are enforced through an appropriate neural network architecture. We evaluate our model against different families of XC approximations and show that, for non-empirical functionals, there is a strong linear correlation between energy and density errors. We use this correlation to define a novel XC functional quality metric that includes both energy and density errors, leading to a new, improved way to rank different approximations. Judged by this metric, our machine-learned functional significantly outperforms those within the same rung of approximations.

연구 동기 및 목표

• 에너지 및 전자 밀도 정확도를 동시에 최적화하는 고정도 비경험적 교환-상관 기능을 개발하기 위해.
• Kohn-Sham DFT에서 비선형 밀도 반응 문제를 해결하기 위해, 종단 간 미분 가능 프로그래밍을 통해 기울기 기반 최적화를 가능하게 하기 위해.
• 신경망 아키텍처 내부에 국소 Lieb-Oxford 경계와 같은 정확한 물리적 제약 조건을 통합하여 이전성 및 물리적 일관성을 향상시키기 위해.
• 에너지 및 밀도 오차를 결합한 새로운 복합 지표 $\mathcal{E}\mathcal{D}_{|n|}$ 를 도입하여 기능 순위 매기기의 향상을 위해.
• 데이터 기반 최적화에 물리적 제약 조건을 통합함으로써, 기존의 비경험적 기능들인 SCAN과 같은 기능들조차도 초월할 수 있음을 보여주기 위해.

제안 방법

• JAX를 사용하여 Kohn-Sham 자가일관장 방정식의 종단 간 미분 가능 구현을 구축하여, 전체 DFT 해법 과정을 자동으로 미분할 수 있도록 하였다.
• 고정도 쌍결합-클러스터 기준값과 비교하여 WTMAD-2를 통한 에너지 오차와 $\varepsilon_{|n|}$ 를 통한 밀도 오차를 모두 포함한 손실 함수를 사용하여 신경망 기반 메타-GGA 기능을 훈련시켰다.
• 물리적 제약 조건, 특히 국소 Lieb-Oxford 경계를 신경망 아키텍처에 직접 통합하여 물리적 일관성 확보 및 일반화 능력 향상을 도모하였다.
• 비경험적 기능들에서 관찰된 에너지 오차와 밀도 오차 사이의 선형 상관관계에서 유도된 새로운 복합 지표 $\mathcal{E}\mathcal{D}_{|n|}$ 를 도입하였으며, 기준 데이터에 대한 회귀 분석을 통해 기울기 $\gamma = 1084.87\ \text{kcal mol}^{-1}$ 를 확보하였다.
• 훈련 세트는 계산 비용 절감을 위해 주로 선형 시스템으로 구성되었으며, 더 복잡한 분자의 일반화 능력을 시험을 통해 검증하였다.
• 전자 밀도 반응에 기반한 기울기 정보를 활용하여 데이터 효율성을 높이고 정밀한 최적화를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 미분 가능 프로그래밍 접근법을 통해 DFT 교환-상관 기능에서 에너지 오차와 밀도 오차를 동시에 최적화할 수 있는가?
• RQ2 Lieb-Oxford 경계와 같은 정확한 물리적 제약 조건을 강제 적용할 경우, 기계학습 기반 기능의 이전성 및 정확도가 향상되는가?
• RQ3 비경험적 기능들 사이에서 에너지 오차와 밀도 오차 사이에 일관된 선형 관계가 존재하는가, 그리고 이를 바탕으로 더 견고한 기능 순위 매기기 지표를 정의할 수 있는가?
• RQ4 데이터 기반 비경험적 기능이 에너지 및 밀도 예측에서 기존의 메타-GGA 기능들인 SCAN 및 PBE0를 뛰어넘을 수 있는가?
• RQ5 JAX를 통한 자동 미분의 사용이 기능 최적화 과정에서 훈련 효율성과 정확도를 얼마나 향상시키는가?

주요 결과

• xc-diff 기능은 G2/97 데이터셋에서 테스트된 모든 메타-GGA 기능들 중에서 가장 낮은 밀도 오차를 기록하였으며, SCAN을 뛰어넘고 PBE0와 동등한 성능을 보였다.
• PBE0 대비 총 WTMAD-2 에너지 오차를 9% 감소시켰으며, 밀도 정확도에서도 뛰어난 성능을 보여, 새로운 $\mathcal{E}\mathcal{D}_{|n|}$ 지표에서 B3LYP를 앞서는 성과를 보였다.
• 비경험적 기능들에 대해 WTMAD-2 에너지 오차와 밀도 오차 사이에 강한 선형 상관관계($R^2 = 0.87$)를 관찰하였으며, 이는 복합 지표의 사용을 정당화하는 데 기여하였다.
• 기능의 밀도 오차는 선형 추세보다 낮게 나타나, 비경험적 메타-GGA의 성능 한계를 초월함을 시사하였다.
• 신경망 아키텍처에 국소 Lieb-Oxford 경계를 통합함으로써 모델의 이전성 및 물리적 일관성이 크게 향상되었다.
• 이 방법은 기울기 정보를 에너지 및 밀도 반응 모두에서 활용함으로써, 복잡한 비선형 DFT 기능의 효과적 최적화를 가능하게 하였음을 보여주었다.