[论文解读] A deep learning approach to search for superconductors from electronic bands

Jun Li, Wenqi Fang+6 more|arXiv (Cornell University)|Sep 12, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

该论文提出 BNAS，一种基于 3D 视觉 Transformer 的深度学习模型，可直接将电子能带结构与超导转变温度（$T_c$）关联起来，通过注意力机制识别与超导性相关的关键能带区域。该模型通过对 46,442 种材料进行高通量筛选，预测出 14,956 种潜在超导体，其中包括基于 Mn、Co、Li 和 Mg 的有前途候选材料，为非传统超导机制提供了新见解。

ABSTRACT

Energy band theory is a foundational framework in condensed matter physics. In this work, we employ a deep learning method, BNAS, to find a direct correlation between electronic band structure and superconducting transition temperature. Our findings suggest that electronic band structures can act as primary indicators of superconductivity. To avoid overfitting, we utilize a relatively simple deep learning neural network model, which, despite its simplicity, demonstrates predictive capabilities for superconducting properties. By leveraging the attention mechanism within deep learning, we are able to identify specific regions of the electronic band structure most correlated with superconductivity. This novel approach provides new insights into the mechanisms driving superconductivity from an alternative perspective. Moreover, we predict several potential superconductors that may serve as candidates for future experimental synthesis.

研究动机与目标

• 通过深度学习建立电子能带结构与超导转变温度（$T_c$）之间直接、数据驱动的相关性。
• 通过使用原始能带结构数据作为输入，克服传统方法依赖化学组成或简化物理参数的局限性。
• 利用 3D-ViT 模型中的注意力机制，识别电子能带中最具超导预测能力的特定区域。
• 通过利用学习到的基于能带的模式对大型材料数据库进行筛选，实现在高通量条件下发现新型超导体。
• 为未来高温超导体的实验合成提供理论和预测指导。

提出的方法

• 在来自 DFT 计算的精选电子能带结构数据集上训练 3D 视觉 Transformer（3D-ViT）模型，输入尺寸为 18×32×32×32。
• 模型使用一组优化的超参数，包括 $L_d$ = 534，$D_e$ = 0.127，$H_d$ = 64，$D_m$ = 0.197，$M_d$ = 1038，和 $L_t$ = 3。
• 采用随机梯度下降（SGD），学习率为 0.001，动量为 0.9，权重衰减 $10^{-5}$，批量大小为 64，在 700 个周期内进行训练。
• 应用注意力滚动（Attention Rollout）技术，可视化能带结构的不同部分如何影响模型对 $T_c$ 的预测，揭示布里渊区内关键区域。
• 在来自 SuperCon、Materials Project（MP）和 OQMD 数据库的清洗数据集上训练模型，使用有序变换方法过滤掉非晶结构。
• 利用训练好的模型对 46,442 种带隙 ≤ 0.2 eV 的材料进行高通量筛选，以识别潜在超导体。

实验结果

研究问题

• RQ1 仅凭电子能带结构能否作为可靠的超导转变温度（$T_c$）预测因子，而无需依赖化学组成或经验参数？
• RQ2 电子能带结构中哪些特定区域最具超导预测能力，能否通过注意力机制识别？
• RQ3 在基于 DFT 计算的能带结构上进行训练的深度学习模型，能否发现超越已知元素或化合物类别的新型超导体候选？
• RQ4 具有相似能带结构但化学组成不同的材料是否表现出相近的超导潜力，模型能否识别此类模式？
• RQ5 模型能否基于能带拓扑和对称性区分常规与非常规超导行为？

主要发现

• 经过 700 个训练周期后，BNAS 模型的验证损失约为 0.06，表明其在能带结构数据上实现了稳定且有效的学习。
• 注意力机制成功识别出能带结构中的晶体对称性相关特征，注意力图突出显示了费米面附近及高对称点附近的区域。
• 该模型通过对 46,442 种带隙 ≤ 0.2 eV 的材料进行筛选，预测出 14,956 种潜在超导体，显著扩大了候选材料池。
• 锰（Mn）、钴（Co）、铁（Fe）、镍（Ni）和铜（Cu）在预测候选中频繁出现，表明其在新型非传统超导体中具有潜力。
• 基于锂和镁的化合物也被识别为强候选材料，其中一种锂基超导体被预测，与已知的常规超导体（如 MgB₂）一致。
• 该模型表明，电子能带结构可作为超导性的主要指标，为超越传统基于组成或参数的模型提供了新的理论和预测路径。