[论文解读] Connectivity Optimized Nested Graph Networks for Crystal Structures

Robin Ruff, Patrick Reiser+2 more|arXiv (Cornell University)|Feb 27, 2023

Machine Learning in Materials Science被引用 9

一句话总结

论文引入不对称单元图表示和用于晶体材料的连通性优化多图网络（coGN），再扩展到嵌套图网络（NGN）以系统地探索架构空间，在MatBench基准上取得良好结果。

ABSTRACT

Graph neural networks (GNNs) have been applied to a large variety of applications in materials science and chemistry. Here, we recapitulate the graph construction for crystalline (periodic) materials and investigate its impact on the GNNs model performance. We suggest the asymmetric unit cell as a representation to reduce the number of atoms by using all symmetries of the system. This substantially reduced the computational cost and thus time needed to train large graph neural networks without any loss in accuracy. Furthermore, with a simple but systematically built GNN architecture based on message passing and line graph templates, we introduce a general architecture (Nested Graph Network, NGN) that is applicable to a wide range of tasks. We show that our suggested models systematically improve state-of-the-art results across all tasks within the MatBench benchmark. Further analysis shows that optimized connectivity and deeper message functions are responsible for the improvement. Asymmetric unit cells and connectivity optimization can be generally applied to (crystal) graph networks, while our suggested nested graph framework will open new ways of systematic comparison of GNN architectures.

研究动机与目标

• 使用不对称单元胞在保留准确性的同时降低晶体GNN的计算成本和冗余。
• 通过嵌套图网络（NGN）系统地探索晶体的图神经网络设计空间。
• 通过优化连通性和架构选择提升 MatBench 晶体结构任务的最新水平。
• 提供关于边选择、对称性利用以及基于线图的角度信息在晶体GNN中的实用指南。

提出的方法

• 使用不对称单元图表示晶体以利用对称性并减少节点/边数量。
• 比较晶体图的边选择策略（k-NN、半径、Voronoi），并评估对性能的影响。
• 通过将基于线图的角度信息与图神经网络整合来开发嵌套图网络（NGN），实现多层信息传递。
• 使用深边更新和连通性优化来实例化 coGN（ connectivity-optimized GN），以最大化预测准确性。
• 在 NGN 框架内进行架构搜索，包括在 G、L(G) 和 L(L(G)) 上嵌套 GN 块的变体。
• 在 MatBench 晶体结构任务上进行评估，并在 log_gvrh 数据集上进行超参数优化，测试跨任务的迁移性。

(a) $k$ NN Edges

实验结果

研究问题

• RQ1 通过不对称单元图利用晶体对称性是否能在不损害准确性的前提下降低计算量？
• RQ2 边连接性以及基于线图的角度特征选择如何影响晶体性质的GNN性能？
• RQ3 嵌套图网络是否可以包容或改进现有的晶体GNN架构，并在何种条件下？
• RQ4 哪些架构和预处理设置能在 MatBench 结构数据集上获得最先进的结果？
• RQ5 NGN 的好处在各任务中是否一致，还是需要特定任务的超参数调优？

主要发现

Dataset	coGN (ours)	coNGN (ours)	ALIGNN	MODNet	CGCNN	M3GNet	Matformer
e_form ↓	17.0 ± 0.3	17.8 ± 0.4	21.5 ± 0.5	44.8 ± 3.9	33.7 ± 0.6	19.5 ± 0.2	21.232 ± 0.302
is_metal ∗ ↑	0.9124 ± 0.0023	0.9089 ± 0.0019	0.9128 ± 0.0015	0.9038 ± 0.0106	0.9520 ± 0.0074	0.958±0.001	0.906 ± 0.002
gap ↓	155.9 ± 1.7	169.7 ± 3.5	186.1 ± 3.0	219.9 ± 5.9	297.2 ± 3.5	183 ± 5	187.825 ± 3.817
perovskites ↓	26.9 ± 0.8	29.0 ± 1.1	28.8 ± 0.9	90.8 ± 2.8	45.2 ± 0.7	33 ± 1.0	31.514 ± 0.71
log_kvrh ↓	0.0535 ± 0.0028	0.0491 ± 0.0026	0.0568 ± 0.0028	0.0548 ± 0.0025	0.0712 ± 0.0028	0.058±0.003	0.063 ± 0.0027
log_gvrh ↓	0.0689 ± 0.0009	0.0670 ± 0.0006	0.0715 ± 0.0006	0.0731 ± 0.0007	0.0895 ± 0.0016	0.086±0.002	0.077 ± 0.0016
dielectric ↓	0.3088 ± 0.0859	0.3142 ± 0.0740	0.3449 ± 0.0871	0.2711 ± 0.0714	0.5988 ± 0.0833	0.312±0.063	0.634 ± 0.131
phonons ↓	29.712 ± 1.997	28.887 ± 3.284	29.539 ± 2.115	34.2751 ± 2.0781	57.7635 ± 12.311	34.1 ± 4.5	42.526 ± 11.886
jdft2d ↓	37.165 ± 13.683	36.170 ± 11.597	43.424 ± 8.949	33.192 ± 7.343	49.244 ± 11.587	50.1 ± 11.9	42.827 ± 12.281

• 不对称单元图在 MatBench 数据集上将节点/边数量和内存占用约降低约2.1倍，同时对于 E(3)-不变GNNs没有精度损失。
• 对于 k=24 的 k-NN 边选择，图具有强预测性能；基于 Voronoi 的边也可行，但连通性不同。
• 具有连通性优化的 coGN 模型在多个 MatBench 结构数据集上达到最先进的结果，超过若干先前模型。
• NGNs 提供更深的边更新和基于线图的角度信息，在某些变体中提供小幅但稳定的改进，但在若干任务上，普通 GN 配合优化的连通性可以达到或超过 NGN 配置。
• 在 log_gvrh 上的最佳表现通过超参数优化使用类似 DimeNet 的架构（变体2）实现，表明架构选择和连通性交互决定提升。
• 由于线图构造和更大的参数数量，NGN 训练在计算上更密集，促使在嵌套深度与连通性之间权衡。

(b) Radius Edges