[논문 리뷰] A deep learning approach to search for superconductors from electronic bands

Jun Li, Wenqi Fang외 6명|arXiv (Cornell University)|2024. 09. 12.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 전자 밴드 구조와 초전도 전이 온도($T_c$) 사이의 직접적인 연결을 가능하게 하는 3D 비전 트랜스포머 기반 딥러닝 모델인 BNAS를 제안한다. 주어진 주의 메커니즘을 통해 초전도성과 관련된 핵심 밴드 영역을 식별한다. 이 모델은 46,442개의 재료에 대한 고속 걸러내기 스크리닝을 통해 14,956개의 잠재적 초전도체를 예측하며, Mn, Co, Li, Mg 기반의 유망한 후보들을 포함하고 있어 비정상 초전도 메커니즘에 대한 새로운 통찰을 제공한다.

ABSTRACT

Energy band theory is a foundational framework in condensed matter physics. In this work, we employ a deep learning method, BNAS, to find a direct correlation between electronic band structure and superconducting transition temperature. Our findings suggest that electronic band structures can act as primary indicators of superconductivity. To avoid overfitting, we utilize a relatively simple deep learning neural network model, which, despite its simplicity, demonstrates predictive capabilities for superconducting properties. By leveraging the attention mechanism within deep learning, we are able to identify specific regions of the electronic band structure most correlated with superconductivity. This novel approach provides new insights into the mechanisms driving superconductivity from an alternative perspective. Moreover, we predict several potential superconductors that may serve as candidates for future experimental synthesis.

연구 동기 및 목표

• 딥러닝을 활용해 전자 밴드 구조와 초전도 전이 온도($T_c$) 사이의 직접적이고 데이터 기반의 상관관계를 수립하기.
• 화학 조성이나 단순화된 물리적 파라미터에 의존하는 전통적 방법의 한계를 극복하기 위해 원시적인 밴드 구조 데이터를 입력으로 사용하기.
• 3D-ViT 모델의 주의 메커니즘을 활용해 초전도성에 가장 예측 가능성이 높은 전자 밴드 내 특정 영역을 식별하기.
• 학습된 밴드 기반 패턴을 활용해 대규모 재료 데이터베이스를 스크리닝하여 새로운 초전도체의 고속 발견을 가능하게 하기.
• 미래의 고온 초전도체 합성에 이론적이고 예측 가능한 지침을 제공하기.

제안 방법

• DFT 계산에서 유도된 정제된 전자 밴드 구조 데이터셋을 기반으로 훈련된 3D 비전 트랜스포머(3D-ViT) 모델을 사용하며, 입력 치수는 18×32×32×32이다.
• 모델는 $L_d$ = 534, $D_e$ = 0.127, $H_d$ = 64, $D_m$ = 0.197, $M_d$ = 1038, $L_t$ = 3과 같은 최적화된 하이퍼파ram터를 사용한다.
• 학습은 700 에포크 동안 수행되며, 경사 하강법(SGD)을 사용하고 학습률 0.001, 모멘텀 0.9, 가중치 감쇠 $10^{-5}$, 배치 크기 64를 적용한다.
• 모델의 $T_c$ 예측에 영향을 주는 밴드 구조의 다양한 부분을 시각화하기 위해 어텐션 롤아웃(Attention Rollout) 기법을 적용하였으며, 브릴루아인 존 전역에서 중요한 영역을 규명하였다.
• 정렬되지 않은 구조는 순서 변환 방법을 사용해 필터링된 청소된 데이터셋에서 SuperCon, Materials Project(MP), OQMD 데이터베이스를 통합하여 학습하였다.
• 학습된 모델을 사용해 밴드 갭 ≤ 0.2 eV인 46,442개의 재료에 대해 고속 걸러내기 스크리닝을 수행하여 잠재적 초전도체를 식별하였다.

실험 결과

연구 질문

• RQ1 화학 조성이나 경험적 파라미터에 의존하지 않고도 전자 밴드 구조 자체만으로도 초전도 전이 온도($T_c$)를 신뢰성 있게 예측할 수 있는가?
• RQ2 어떤 특정 영역이 전자 밴드 구조 내에서 초전도성에 가장 예측 가능성이 높은가? 그리고 이러한 영역은 주의 메커니즘을 통해 식별될 수 있는가?
• RQ3 DFT에서 유도된 밴드 구조를 기반으로 훈련된 딥러닝 모델이 기존의 원소 또는 화합물 범주를 초월한 새로운 초전도체 후보를 발견할 수 있는가?
• RQ4 다른 화학 조성을 지닌 재료들이 유사한 밴드 구조를 가지는 경우, 동일한 초전도 잠재력을 보일 수 있으며, 모델이 이러한 패턴을 탐지할 수 있는가?
• RQ5 밴드 토폴로지와 대칭성을 기반으로 모델이 전통적과 비정상적인 초전도 거동을 구분할 수 있는가?

주요 결과

• BNAS 모델은 700개의 훈련 에포크 후 약 0.06의 검증 손실을 기록하여 밴드 구조 데이터에 대해 안정적이고 효과적인 학습을 이룬 것으로 나타났다.
• 주의 메커니즘이 결정 구조의 대칭성과 관련된 특징을 성공적으로 식별하였으며, 주의 맵은 패피 표면 근처 및 고대칭 점 근처의 영역을 강조하였다.
• 밴드 갭 ≤ 0.2 eV인 46,442개의 재료에 대한 스크리닝을 통해 모델은 14,956개의 잠재적 초전도체를 예측하였으며, 후보자 수가 크게 증가하였다.
• 망간(Mn), 코발트(Co), 철(Fe), Nickle(Ni), 구리(Cu)가 예측된 후보들에서 자주 나타나, 새로운 비정상 초전도체의 가능성에 대한 시사점을 제공한다.
• 리튬- 및 마그네슘 기반 화합물도 강력한 후보로 식별되었으며, 한 개의 리튬 기반 초전도체가 예측되었으며, 이는 기존의 MgB₂와 같은 알려진 전통적 초전도체와 일치한다.
• 모델는 전자 밴드 구조가 초전도성의 주요 지표가 될 수 있음을 입증하였으며, 기존의 조성 기반 또는 파rameter 기반 모델을 초월한 새로운 이론적이고 예측 가능한 접근 방식을 제공한다.