[论文解读] MT-CGCNN: Integrating Crystal Graph Convolutional Neural Network with Multitask Learning for Material Property Prediction

Soumya Sanyal, Janakiraman Balachandran+5 more|arXiv (Cornell University)|Nov 14, 2018

Machine Learning in Materials Science参考文献 23被引用 49

一句话总结

MT-CGCNN 将晶体图卷积神经网络与多任务学习结合起来，联合预测无机晶体的形成能、带隙和费米能级，相较于仅 CGCNN 的方法在准确性和数据效率上有所提升。

ABSTRACT

Developing accurate, transferable and computationally inexpensive machine learning models can rapidly accelerate the discovery and development of new materials. Some of the major challenges involved in developing such models are, (i) limited availability of materials data as compared to other fields, (ii) lack of universal descriptor of materials to predict its various properties. The limited availability of materials data can be addressed through transfer learning, while the generic representation was recently addressed by Xie and Grossman [1], where they developed a crystal graph convolutional neural network (CGCNN) that provides a unified representation of crystals. In this work, we develop a new model (MT-CGCNN) by integrating CGCNN with transfer learning based on multi-task (MT) learning. We demonstrate the effectiveness of MT-CGCNN by simultaneous prediction of various material properties such as Formation Energy, Band Gap and Fermi Energy for a wide range of inorganic crystals (46774 materials). MT-CGCNN is able to reduce the test error when employed on correlated properties by upto 8%. The model prediction has lower test error compared to CGCNN, even when the training data is reduced by 10%. We also demonstrate our model's better performance through prediction of end user scenario related to metal/non-metal classification. These results encourage further development of machine learning approaches which leverage multi-task learning to address the aforementioned challenges in the discovery of new materials. We make MT-CGCNN's source code available to encourage reproducible research.

研究动机与目标

• 解决受限的材料数据和缺乏通用描述符以预测多种材料性质的问题。
• 通过 CGCNN 引入可迁移、通用的晶体表示。
• 利用多任务学习共同预测相关性质以提高泛化能力。
• 展示 MT-CGCNN 的数据效率和终端用户实用性（金属/非金属分类）。

提出的方法

• 将晶体表示为晶体图，原子为节点，化学键为边。
• 对 CGCNN 进行边门控学习，以学习原子表示并汇聚为晶体向量 v_G。
• 应用硬参数共享的多任务学习，针对每个性质设置任务特定的输出头。
• 通过在任务之间对均方误差的加权和进行优化来训练模型。
• 在多对性质对的实验中将 MT-CGCNN 与 CGCNN 进行比较并分析数据效率。
• 提供 MT-CGCNN 的源代码以确保可重复性。

实验结果

研究问题

• RQ1 多任务学习是否能够利用晶体图表示提升相关材料性质的预测？
• RQ2 在训练数据稀缺的情况下，MT-CGCNN 相对于 CGCNN 的表现如何？
• RQ3 在形成能、带隙和费米能级之间，哪些任务组合能带来最强的性能提升？
• RQ4 多任务预测是否保留对最终用户有意义的洞察，如按稳定性进行材料排序或金属/非金属分类？

主要发现

• MT-CGCNN 在所有实验中均明显优于 CGCNN，在四种实验设置下平均 MAE 提升分别为 8.3%、3.8%、1.7% 和 4.4%。
• 在与形成能（ΔEf）配对时，预测的带隙（E_g）和费米能级（E_F）在多任务设置中显示出显著提升。
• 即使在训练数据减少时，MT-CGCNN 也比 CGCNN 拥有更好的 MAE；在 50% 的训练数据下，MT-CGCNN 相对于 CGCNN 在 ΔEf 和 E_g 上的表现更优，分别相当于 60% 的数据量。
• 终端用户分析表明 MT-CGCNN 维持按 ΔEf 的材料排序（高 Spearman 相关性），并在不同数据情形下改善金属/非金属分类的 AUC。
• 在一些多任务设置中，硬参数共享的 MT 可能会降低 ΔEf，表明任务关系效应。
• MT-CGCNN 的源代码已发布以确保可重复性。