[论文解读] Designing Random Graph Models Using Variational Autoencoders With Applications to Chemical Design.

Bidisha Samanta, Abir De+2 more|arXiv (Cornell University)|Feb 14, 2018

Machine Learning in Materials Science参考文献 29被引用 34

一句话总结

本文提出了一种用于图的变分自编码器，通过专用的编码器和解码器架构，解决了非欧几里得结构、节点排列不变性以及可变图大小的问题。该方法能够生成具有期望局部结构和功能特性的图，在分子设计任务中优于最先进方法，并能准确模拟已知的随机图模型。

ABSTRACT

Deep generative models have been praised for their ability to learn smooth latent representation of images, text, and audio, which can then be used to generate new, plausible data. However, current generative models are unable to work with graphs due to their unique characteristics--their underlying structure is not Euclidean or grid-like, they remain isomorphic under permutation of the nodes labels, and they come with a different number of nodes and edges. In this paper, we propose a variational autoencoder for graphs, whose encoder and decoder are specially designed to account for the above properties by means of several technical innovations. Moreover, the decoder is able to guarantee a set of local structural and functional properties in the generated graphs. Experiments reveal that our model is able to learn and mimic the generative process of several well-known random graph models and can be used to create new molecules more effectively than several state of the art methods.

研究动机与目标

• 解决深度生成模型在处理图时由于其非欧几里得性、排列不变性和可变大小特性所带来的局限性。
• 设计一种保持图不变性的编码器和解码器，以支持灵活的图生成。
• 确保生成的图满足特定的局部结构和功能特性。
• 学习并复制已建立的随机图模型的生成过程。
• 相比最先进方法，提升分子生成性能。

提出的方法

• 编码器使用具有排列等变消息传递的图神经网络，生成对节点标签排列不变的潜在表示。
• 解码器采用可微分的自回归生成过程，逐个节点构建图，同时保持结构一致性。
• 模型结合变分推理目标以优化潜在空间，实现平滑插值和生成。
• 在解码器中嵌入一组结构约束，以保证生成图中具有期望的局部特性（例如，度分布、连通性）。
• 通过重参数化技巧实现端到端训练，使反向传播能够通过随机采样进行。
• 模型在合成随机图模型和真实世界分子数据集上进行评估。

实验结果

研究问题

• RQ1 变分自编码器能否有效学习并生成具有复杂非欧几里得结构的图，同时尊重排列不变性？
• RQ2 该模型在多大程度上能够模拟知名随机图模型（如Erdős–Rényi或Barabási–Albert）的生成过程？
• RQ3 该模型能否比现有最先进方法更有效地生成具有期望结构和功能特性的分子？
• RQ4 所学习的潜在空间在支持有意义的插值和生成新颖有效图方面表现如何？

主要发现

• 该模型成功学习并复制了多个基准随机图模型的生成过程，包括Erdős–Rényi和Barabási–Albert网络。
• 解码器强制实现局部结构特性的能力，使生成图的有效性和质量显著优于基线方法。
• 在分子生成基准测试中，该模型在生成分子的有效性和新颖性方面均优于现有最先进方法。
• 所学习的潜在空间支持图之间的平滑插值，表明其对分子结构具有连续且有意义的表示。
• 该模型对不同大小和边数的图具有良好的泛化能力，表现出对结构多样性的强鲁棒性。
• 该方法在生成具有期望化学特性的分子方面表现出具有竞争力的性能，显示出在药物发现应用中的强大潜力。