[论文解读] GraphVAE: Towards Generation of Small Graphs Using Variational Autoencoders

Martin Simonovsky, Nikos Komodakis|arXiv (Cornell University)|Feb 9, 2018

Machine Learning in Materials Science参考文献 34被引用 132

一句话总结

GraphVAE 引入一个变分自编码器，其解码为一个概率的、固定最大尺寸的全连接图，能够在没有严格序列解码的情况下生成小图（如分子）。

ABSTRACT

Deep learning on graphs has become a popular research topic with many applications. However, past work has concentrated on learning graph embedding tasks, which is in contrast with advances in generative models for images and text. Is it possible to transfer this progress to the domain of graphs? We propose to sidestep hurdles associated with linearization of such discrete structures by having a decoder output a probabilistic fully-connected graph of a predefined maximum size directly at once. Our method is formulated as a variational autoencoder. We evaluate on the challenging task of molecule generation.

研究动机与目标

• 直接从连续编码生成图而不是通过序列/线性化来实现的动机。
• 提出一个输出在预定义最大尺寸上的概率全连接图解码器。
• 将模型训练为带有基于图匹配的重构损失的变分自编码器。
• 展示在分子生成中的适用性并评估带属性约束的条件生成。

提出的方法

• 使用一个 VAE 框架，其编码器为 q_phi(z|G) 和解码器为 p_theta(G|z)。
• 解码器输出一个 k 个节点的概率图（A, E, F），节点/边的存在以及属性变量彼此独立。
• 重构损失通过近似图匹配来对齐 G 与 cG，涉及节点之间的一个概率分配 X。
• 图匹配使用 Max-Pooling Matching (MPM) 然后通过 Hungarian离散化得到 X。
• 重构项包括 p(A'|z)、p(F|z)、p(E|z)，其似然性为基于交叉熵的，并且为加权和。
• 编码器使用边条件图卷积（ECC）和变分采样（重参数化）。
• 可选地将标签 y 同时作为条件输入给编码器和解码器，以获得 z|y 的解耦表示。

实验结果

研究问题

• RQ1 一个直接输出固定最大尺寸概率图的解码器在不进行显式序列构建的情况下，是否能有效生成小图？
• RQ2 在小分子生成方面，GraphVAE 相对于先前的基线（基于语法/字符的方法）在有效性、新颖性和多样性方面的表现如何？
• RQ3 对辅助标签的条件化对生成图的质量和可控性有何影响？
• RQ4 在小图范畴中，基于图匹配的重建损失和整体训练对较大图的可扩展性如何？
• RQ5 隐式节点概率的辅助是否提升生成质量或在多样性上存在权衡？

主要发现

• GraphVAE 在 QM9 上能以有意义的比率生成化学有效的分子样本，并且在一定限制下可扩展到更大的小图（ZINC，至 k=38）。
• 有条件的模型能够生成对标签遵循性较好的分子（例如原子直方图正确），并在某些方面对新颖图显示出外推。
• 在 QM9 的无条件/有条件设置中，较高的潜在维度 c 在一定程度上提升了有效性和多样性，但在重构与新颖性之间存在权衡。
• 图匹配至关重要：仅使用单位置换的消融（NoGM）会导致多样性下降；完整的图匹配方法在有效性、准确性和新颖性之间取得平衡。
• 隐式节点概率可以提高有效性和新颖性，但可能降低多样性并增加重构损失。
• 与基线相比，GVAE 趋向于产生更多有效样本（约60% 左右）且输出更具多样性，而某些基线产生的有效样本较少。