[论文解读] Deep Generative Model for Periodic Graphs

Shiyu Wang, Xiaojie Guo+1 more|arXiv (Cornell University)|Jan 28, 2022

Graph Theory and Algorithms被引用 14

一句话总结

该论文提出PGD-VAE，一种用于周期性图的深度生成模型，通过采用具有周期性强制的专用编码器-解码器架构，实现对局部和全局图模式的解耦。该模型在图生成质量、多样性和不变性方面达到最先进性能，在合成数据集、网格数据集和MOF数据集上均优于现有模型，具有更低的KLD得分以及更高的新颖性和唯一性。

ABSTRACT

Periodic graphs are graphs consisting of repetitive local structures, such as crystal nets and polygon mesh. Their generative modeling has great potential in real-world applications such as material design and graphics synthesis. Classical models either rely on domain-specific predefined generation principles (e.g., in crystal net design), or follow geometry-based prescribed rules. Recently, deep generative models has shown great promise in automatically generating general graphs. However, their advancement into periodic graphs have not been well explored due to several key challenges in 1) maintaining graph periodicity; 2) disentangling local and global patterns; and 3) efficiency in learning repetitive patterns. To address them, this paper proposes Periodical-Graph Disentangled Variational Auto-encoder (PGD-VAE), a new deep generative models for periodic graphs that can automatically learn, disentangle, and generate local and global graph patterns. Specifically, we develop a new periodic graph encoder consisting of global-pattern encoder and local-pattern encoder that ensures to disentangle the representation into global and local semantics. We then propose a new periodic graph decoder consisting of local structure decoder, neighborhood decoder, and global structure decoder, as well as the assembler of their outputs that guarantees periodicity. Moreover, we design a new model learning objective that helps ensure the invariance of local-semantic representations for the graphs with the same local structure. Comprehensive experimental evaluations have been conducted to demonstrate the effectiveness of the proposed method. The code of proposed PGD-VAE is availabe at https://github.com/shi-yu-wang/PGD-VAE.

研究动机与目标

• 解决缺乏能够无需依赖领域特定或几何规则即可学习并生成周期性图的深度生成模型的问题。
• 克服在保持图周期性、解耦局部与全局拓扑模式以及提升重复结构建模效率方面所面临的挑战。
• 开发一种可自动学习、解耦并生成周期性图中局部结构单元与全局连接模式的模型。
• 确保具有相同局部结构的图之间局部语义表示的不变性，从而实现鲁棒且可泛化的生成。
• 通过生成有效、多样且新颖的周期性图（如MOFs和晶格网络）来支持材料设计与图形合成应用。

提出的方法

• 提出一种新型周期性图编码器，包含独立的全局模式编码器与局部模式编码器，以实现高层次拓扑与重复局部单元的解耦。
• 设计一种分层解码器，包含局部结构、邻域结构与全局结构解码器，随后通过汇编器在输出中强制实现周期性。
• 引入一种新的学习目标，以鼓励共享相同基本单元的图之间局部语义表示的不变性。
• 采用图神经网络（GIN或GCN）进行表征学习，并使用重参数化技术的变分自编码器框架实现端到端训练。
• 在解耦的潜在空间中，令 z_l 控制局部结构，z_g 控制全局拓扑，从而实现可控生成。
• 采用带KLD正则化的重构损失与对比损失，以增强局部表征的解耦性与不变性。

实验结果

研究问题

• RQ1 深度生成模型能否在不依赖预定义规则的前提下，自动学习并解耦周期性图中的局部与全局模式？
• RQ2 在图生成过程中如何显式强制实现周期性，以确保输出由重复的结构单元组成？
• RQ3 解耦局部与全局语义在多大程度上提升了周期性图建模中的生成质量、多样性和不变性？
• RQ4 在周期性图基准测试中，该模型相较于现有图生成模型在重构保真度、新颖性与唯一性方面的表现如何？
• RQ5 该模型能否生成化学上有效且结构多样的MOFs及其他具有复杂局部单元的周期性材料？

主要发现

• 在MeshSeq数据集上，PGD-VAE在所有对比模型中取得最低的KLD得分：聚类系数为0.8191，图密度为0.5062。
• 在合成数据集上，PGD-VAE的KLD得分分别为2.4275（聚类）与1.7611（密度），优于包括GraphRNN与GRAN在内的基线模型。
• 消融实验变体PGD-VAE-1（无解耦）的KLD得分显著更差，分别为3.2672与0.8399，证实了解耦的重要性。
• 使用GCN而非GIN的PGD-VAE-2模型在QMOF数据集上取得KLD得分0.8508（聚类）与0.9332（密度），优于其他模型，表明其在复杂MOFs上的鲁棒性。
• 采用单一MLP解码器的模型（PGD-VAE-3）表现较差，证明了分层解码器设计的必要性。
• PGD-VAE实现了较高的唯一性与新颖性得分，能够生成多样且未见过的图，这对材料设计与物体合成至关重要。