[논문 리뷰] General framework for E(3)-equivariant neural network representation of density functional theory Hamiltonian

Xiaoxun Gong, He Li외 4명|arXiv (Cornell University)|2022. 10. 25.

Machine Learning in Materials Science인용 수 10

한 줄 요약

이 논문은 밀도함수이론(DFT) 해밀토니안을 물질의 구조에 대한 함수로 표현하는 E(3)-등변성 딥러닝 프레임워크인 DeepH-E3를 소개한다. 이는 공간 및 스핀 자유도 전반에 걸쳐 등변성 조건을 명시적으로 강제하여 유클리드 대칭성—스핀-오비트 결합을 포함—을 유지한다. 이 방법은 높은 학습 효율성을 바탕으로 전자 구조 예측에서 1meV 이내의 정확도를 달성하며, 소규모 시스템의 데이터를 이용해 초대규모 초세포(>10⁴ 원자)에서 아비니시오 수준의 정확도를 실현한다.

ABSTRACT

Combination of deep learning and ab initio calculation has shown great promise in revolutionizing future scientific research, but how to design neural network models incorporating a priori knowledge and symmetry requirements is a key challenging subject. Here we propose an E(3)-equivariant deep-learning framework to represent density functional theory (DFT) Hamiltonian as a function of material structure, which can naturally preserve the Euclidean symmetry even in the presence of spin-orbit coupling. Our DeepH-E3 method enables very efficient electronic-structure calculation at ab initio accuracy by learning from DFT data of small-sized structures, making routine study of large-scale supercells ($> 10^4$ atoms) feasible. Remarkably, the method can reach sub-meV prediction accuracy at high training efficiency, showing state-of-the-art performance in our experiments. The work is not only of general significance to deep-learning method development, but also creates new opportunities for materials research, such as building Moiré-twisted material database.

연구 동기 및 목표

• 전자 구조 표현에서 전체 유클리드(E(3)) 대칭성을 유지하는 딥러닝 프레임워크를 개발하는 것.
• 이전의 등변 네트워크가 해밀토니안 모델링에서 스핀 자유도를 忽略하는 데서 비롯되는 한계를 극복하는 것.
• 소규모 DFT 최적화 구조에서 학습함으로써 초대규모 초세포(>10⁴ 원자)에서 정확하고 효율적인 전자 구조 예측을 가능하게 하는 것.
• 지역 기준좌표 변환을 수작업으로 선택하는 데 의존하는 것을 제거하기 위해 대칭성을 신경망 아키텍처에 직접 통합하는 것.
• 고성능 재료 모델링에 적합한 통합적이고, 미분 가능하며 대칭성에 일관된 DFT 해밀토니안 표현을 확립하는 것.

제안 방법

• 프레임워크는 e3nn 라이브러리를 사용하여 E(3)-등변성 신경망(ENN)을 적용하여, 회전, 이동 및 스핀-오비트 결합에 대한 정확한 변환 성질을 보장한다.
• 정점 및 간선 특징이 회전군의 비가역 표현(1부터 5까지의 l 값)에 따라 변환되는 그래프 기반 아키텍처를 사용하며, 짝수(e) 및 홀수(o) 대칭성 성분을 모두 포함한다.
• 입력 특징으로 고정된 간격과 폭 파rameter를 가진 가우시안 기저 함수를 사용하며, 원자 간의 반경 거리에 기반한다.
• 다중 척도 특징 업데이트 메커니즘을 사용하며, 정점 및 간선 업데이트 블록 각각 3개씩을 포함하고, 각 블록은 EquiConv 레이어와 SiLU 및 시그모이드 활성화 함수를 조합하여 비선형 변환을 수행한다.
• 게이트형 잔여 연결 구조를 사용하여, l=0 스칼라 성분이 학습된 활성화 함수를 통해 고차원 텐서 특징을 조절한다.
• 예측된 해밀토니안과 DFT 계산된 해밀토니안 간의 평균제곱오차를 최소화함으로써 해밀토니안 행렬을 종단 간 예측하며, 모든 물리적 관측량은 출력 해밀토니안에서 유도된다.

실험 결과

연구 질문

• RQ1 E(3)-등변성 딥러닝 모델은 전체 회전 대칭성과 스핀-오비트 결합 대칭성을 유지하면서 DFT 해밀토니안을 정확히 표현할 수 있는가?
• RQ2 지역 기준좌표 변환에 의존하거나 스핀 자유도를 忽略하는 기존 방법과 비교해 볼 때, E(3)-등변성 프레임워크의 성능은 어떠한가?
• RQ3 소규모 초세포(예: 4×4)에서 학습한 모델이 초대규모 초세포(>10⁴ 원자)의 전자 구조를 얼마나 잘 일반화하여 예측할 수 있는가?
• RQ4 스핀-오비트 결합을 명시적으로 모델링함으로써, 토폴로지 재료에서 예측 정확도와 대칭성 유지에 어떤 영향을 미치는가?
• RQ5 프레임워크는 높은 계산 효율성을 유지하면서도 에너지 예측에서 1meV 이내 정확도를 달성할 수 있는가?

주요 결과

• DeepH-E3 모델은 그래핀, MoS₂, Bi Chalcogenides를 포함한 모든 시험 재료에서 에너지 예측 시 1meV 이내 평균절대오차(MAE)를 달성한다.
• 이 방법은 10⁴ 원자 초과의 초세포에서 정확한 전자 구조 계산을 가능하게 하여 고성능 재료 筛选의 실현 가능성을 입증한다.
• 스핀과 오비탈 자유도를 회전에 따라 결합된 방식으로 명시적으로 다룸으로써, 정확한 E(3) 등변성(스핀-오비트 결합 포함)을 유지한다.
• 소규모 초세포(예: 4×4 그래핀)에서의 학습이 더 큰 시스템의 정확한 예측을 가능하게 하여, 모델의 학습 크기 초월 일반화 능력을 확인한다.
• 특히 Bi₂Se₃ 및 Bi₂Te₃와 같이 강한 스핀-오비트 결합을 갖는 시스템에서 기존 방법에 비해 정확도와 대칭성 유지 측면에서 뛰어난 성능을 보인다.
• 다양한 재료에 걸쳐 높은 안정성과 정확도를 확보하였으며, 대부분의 시험 케이스에서 MAE가 0.5 meV 이하로 유지되어, 해밀토니안 표현 분야에서 최신 기술 수준의 정확도를 입증한다.