[论文解读] Crystal Diffusion Variational Autoencoder for Periodic Material Generation

Tian Xie, Xiang Fu+3 more|arXiv (Cornell University)|Oct 12, 2021

Machine Learning in Materials Science参考文献 56被引用 95

一句话总结

本文提出 CDVAE，一种基于扩散的变分自编码器，用于生成符合周期不变量和界面间相互作用的稳定周期性材料，在重建、生成有效性/多样性和性质优化方面优于基线方法。

ABSTRACT

Generating the periodic structure of stable materials is a long-standing challenge for the material design community. This task is difficult because stable materials only exist in a low-dimensional subspace of all possible periodic arrangements of atoms: 1) the coordinates must lie in the local energy minimum defined by quantum mechanics, and 2) global stability also requires the structure to follow the complex, yet specific bonding preferences between different atom types. Existing methods fail to incorporate these factors and often lack proper invariances. We propose a Crystal Diffusion Variational Autoencoder (CDVAE) that captures the physical inductive bias of material stability. By learning from the data distribution of stable materials, the decoder generates materials in a diffusion process that moves atomic coordinates towards a lower energy state and updates atom types to satisfy bonding preferences between neighbors. Our model also explicitly encodes interactions across periodic boundaries and respects permutation, translation, rotation, and periodic invariances. We significantly outperform past methods in three tasks: 1) reconstructing the input structure, 2) generating valid, diverse, and realistic materials, and 3) generating materials that optimize a specific property. We also provide several standard datasets and evaluation metrics for the broader machine learning community.

研究动机与目标

• 解决在由量子力学稳定性和成键偏好定义的低维子空间中生成稳定周期性材料的挑战。
• 利用基于扩散的解码器在向能量极小值收敛的同时更新原子类型以满足局部成键规则。
• 通过在编码器和解码器中使用SE(3)等变GNN来强制实现置换、平移、旋转、周期性的不变量以及周期边界相互作用。
• 提供标准数据集和材料生成的评估指标，并在重建、生成和性质优化任务中证明相对于基线的改进。

提出的方法

• 使用带有周期性GNN编码器（PGNNEnc）的变分自编码器框架，将材料映射到潜在变量 z。
• 通过 MLPAgg 从 z 预测聚合材料属性（组成 c、晶格 L、原子数 N）。
• 使用条件分数基扩散解码器（NCSN）（PGNNDec），在给定 z 的条件下对坐标 X 和原子类型 A 进行去噪，目标具备周期性感知。
• 将材料表示为包含周期边界的多图，并使用 SE(3) 等变GNNs 在编码/解码过程中保持不变量。
• 用联合损失训练：Ly_Agg 表示聚合属性的损失，Ly_Dec 表示去噪损失，以及 VAE 的 KL 散度。
• 在生成阶段，从 z 预测 c、L 和 N，初始化一个合理的结构，并进行退火 Langevin 动力学以将 A 和 X 收敛到稳定状态。
• 给出物理解释：解码器的梯度场近似于一个在平衡附近的谐性力场，将学习到的分数与量子力学启发的力联系起来。

实验结果

研究问题

• RQ1 CDVAE 能在多大程度上从潜在表示重构输入的晶体结构？
• RQ2 CDVAE 能否生成有效、具有多样性且逼真的材料，使其分布类似于稳定材料的分布？
• RQ3 在符合周期性不变量的前提下，CDVAE 是否能生成针对目标性质（如密度、能量）进行优化的材料？
• RQ4 带周期感知解码的 SE(3) 等变结构是否相较非不变基线提升了生成质量？

主要发现

方法	Perov-5 匹配率 (%)	Carbon-24 匹配率 (%)	MP-20 匹配率 (%)	Perov-5 RMSE	Carbon-24 RMSE	MP-20 RMSE
FTCP	99.34	62.28	69.89	0.0259	0.2563	0.1593
Cond-DFC-VAE	51.65	–	–	0.0217	–	–
CDVAE	97.52	55.22	45.43	0.0156	0.1251	0.0356

• CDVAE 取得较高的重建准确性，匹配率分别为 97.52%（Perov-5）、55.22%（Carbon-24）和 45.43%（MP-20），对应的 RMSE 分别为 0.0156、0.1251 和 0.0356。
• CDVAE 在生成的有效性和多样性方面显著优于基线，在各数据集上获得更高的有效性和覆盖度指标。
• CDVAE 在生成阶段对全部三个评估数据集达到 100.0% 的有效性，并显示出比基线更优的性质统计（例如较低的预测能量和适当的密度）。
• 该模型获得更高的覆盖率（COV-R 和 COV-P），并且在分布对齐方面优于竞争方法，与真实材料的分布更加一致。
• 基于扩散的解码结合周期性 SE(3) 等变 GNN 提供了一个具有物理意义的归纳偏置，将学习到的分数与接近平衡的谐性力场联系起来。