[论文解读] CrysMMNet: Multimodal Representation for Crystal Property Prediction

Kishalay Das, Pawan Goyal+3 more|arXiv (Cornell University)|Jun 9, 2023

Machine Learning in Materials Science被引用 9

一句话总结

CrysMMNet 将晶体图结构与文本材料描述相结合，生成联合多模态表示，用于预测晶体性质，在两个基准数据集上超越最先进基线。

ABSTRACT

Machine Learning models have emerged as a powerful tool for fast and accurate prediction of different crystalline properties. Exiting state-of-the-art models rely on a single modality of crystal data i.e. crystal graph structure, where they construct multi-graph by establishing edges between nearby atoms in 3D space and apply GNN to learn materials representation. Thereby, they encode local chemical semantics around the atoms successfully but fail to capture important global periodic structural information like space group number, crystal symmetry, rotational information, etc, which influence different crystal properties. In this work, we leverage textual descriptions of materials to model global structural information into graph structure and learn a more robust and enriched representation of crystalline materials. To this effect, we first curate a textual dataset for crystalline material databases containing descriptions of each material. Further, we propose CrysMMNet, a simple multi-modal framework, which fuses both structural and textual representation together to generate a joint multimodal representation of crystalline materials. We conduct extensive experiments on two benchmark datasets across ten different properties to show that CrysMMNet outperforms existing state-of-the-art baseline methods with a good margin. We also observe that fusing the textual representation with crystal graph structure provides consistent improvement for all the SOTA GNN models compared to their own vanilla versions. We have shared the textual dataset, that we have curated for both the benchmark material databases, with the community for future use.

研究动机与目标

• 通过将通常被仅基于图的模型忽略的全局周期信息纳入来提升晶体性质预测的动机。
• 提出一个多模态框架，将基于图的局部结构与基于文本的全局结构知识融合。
• 使用 Robocrystallographer 为晶体材料整理一个文本数据集，以捕捉空间群、对称性和维度。
• 在跨多个属性的大型晶体数据集上评估 CrysMMNet，并通过消融分析理解模态贡献。

提出的方法

• 通过 GNN（图编码器）将晶体表示为编码局部化学/结构信息的图。
• 用基于变换器的文本编码器 MatSciBERT 和投影层对材料描述中的全球周期知识进行编码。
• 通过拼接融合图和文本嵌入，形成联合的多模态表示。
• 在多模态嵌入上训练端到端的多层感知机（MLP），使用均方误差损失来预测晶体性质。
• 使用 Robocrystallographer 为 MP 和 JARVIS 数据集整理文本描述，以捕捉局部和全球信息。

实验结果

研究问题

• RQ1 当将文本描述与基于图的表示结合时，晶体材料的全局周期结构信息是否可以改善性质预测？
• RQ2 多模态融合在不同晶体性质和数据集上是否始终优于单模态模型？
• RQ3 文本模态相对于局部成分信息有何贡献，方法对不同 GNN 架构的鲁棒性如何？
• RQ4 在有限训练数据情况下，多模态晶体性质预测的影响如何？

主要发现

• CrysMMNet 在 JARVIS-DFT 和 Materials Project 数据集的各项性质上均超越了最先进的基线模型。
• 多模态融合相对于其原始版本在各种 GNN 主干上提供了一致的改进。
• 仅文本表示不足以替代基于图的模型，但它们提供全局结构知识，在融合时提升性能。
• 在低数据情境下，CrysMMNet 仍保持强劲性能，展示了对标注样本有限时的鲁棒性。
• 消融研究表明，来自文本的局部（组成）与全局（空间群、对称性）知识都对预测改进有贡献。