[论文解读] A Graph VAE and Graph Transformer Approach to Generating Molecular Graphs

Joshua Mitton, Hans Martin Senn+2 more|arXiv (Cornell University)|Apr 9, 2021

Machine Learning in Materials Science被引用 11

一句话总结

该论文提出了一种新颖的图VAE与Transformer混合模型，通过利用图卷积网络、可微图池化以及一种新型节点编码的Transformer，生成同时包含节点和边特征的分子图。该模型在QM9数据集上实现了生成有效、唯一且新颖分子的最先进性能，同时学习到一个解耦且可解释的潜在空间，以实现对目标性质分子的可控生成。

ABSTRACT

We propose a combination of a variational autoencoder and a transformer based model which fully utilises graph convolutional and graph pooling layers to operate directly on graphs. The transformer model implements a novel node encoding layer, replacing the position encoding typically used in transformers, to create a transformer with no position information that operates on graphs, encoding adjacent node properties into the edge generation process. The proposed model builds on graph generative work operating on graphs with edge features, creating a model that offers improved scalability with the number of nodes in a graph. In addition, our model is capable of learning a disentangled, interpretable latent space that represents graph properties through a mapping between latent variables and graph properties. In experiments we chose a benchmark task of molecular generation, given the importance of both generated node and edge features. Using the QM9 dataset we demonstrate that our model performs strongly across the task of generating valid, unique and novel molecules. Finally, we demonstrate that the model is interpretable by generating molecules controlled by molecular properties, and we then analyse and visualise the learned latent representation.

研究动机与目标

• 解决同时生成具有节点和边特征的化学有效、唯一且新颖分子图的挑战。
• 通过将内存复杂度从基于MLP的先前方法的O(k²)降低至O(k)，提升图生成模型的可扩展性。
• 学习一个解耦且可解释的潜在空间，使其映射到特定分子性质，以实现可控生成。
• 用一种新型节点编码替代Transformer中的位置编码，通过引入邻近节点信息，实现与图结构无关的边预测。
• 在不依赖昂贵图匹配算法的情况下，实现分子生成的最先进性能。

提出的方法

• 模型使用基于GraphSAGE的编码器，并结合DIFFPOOL实现可微图池化，从输入分子图中生成c维潜在表示z。
• 图解码器通过逆DIFFPOOL和GraphSAGE过程重建节点特征，从潜在空间的标准正态分布中采样。
• 基于Transformer的边预测器取代传统MLP，使用一种新型节点编码，将邻近节点信息注入边生成过程。
• 该节点编码替代了标准的位置嵌入，使Transformer能够在无顺序偏差的情况下处理图结构，同时通过邻近节点特征编码结构关系。
• 通过将特定潜在维度映射到单一分子性质，强制实现解耦的潜在空间，从而支持对特定性质分子的可控生成。
• 从潜在空间预测图级性质（如偶极矩和ZPVE），确保潜在变量与化学性质之间的结构对齐。

实验结果

研究问题

• RQ1 混合图VAE与Transformer模型能否在保持高有效性、唯一性和新颖性的前提下，生成同时包含节点和边特征的分子图？
• RQ2 与基于MLP的方法相比，所提出的Transformer中节点编码在边预测和可扩展性方面有何改进？
• RQ3 该模型在多大程度上学习到一个解耦且可解释的潜在空间，从而实现对特定性质分子的可控生成？
• RQ4 该模型能否在不依赖昂贵图匹配算法的情况下，实现分子生成的最先进性能？
• RQ5 内存复杂度如何随图大小变化？是否可进一步优化以适用于更大分子？

主要发现

• 在QM9数据集上，该模型实现了74.6%的有效性、22.5%的唯一性、93.9%的新颖性，以及15.8%的三项指标综合得分，优于先前模型在综合指标上的表现。
• 与基于MLP的图生成方法相比，该模型将内存复杂度从O(k²)降低至O(k)，显著提升了大规模图的可扩展性。
• 解耦的潜在空间使模型能够实现对目标性质分子的可控生成，如通过均匀间隔的潜在向量逐步改变偶极矩。
• 可视化结果证实，特定潜在维度与特定分子性质（如偶极矩μ和零点振动能量ZPVE）一一对应，验证了可解释性。
• 在多个指标上，该模型优于MolGAN和GraphVAE，即使在某项指标上略逊一筹，整体性能仍更优。
• 在Transformer中使用新型节点编码，可在无位置偏差的前提下实现有效的边预测，提升了图结构化数据的泛化能力。