[论文解读] Constrained Generation of Semantically Valid Graphs via Regularizing Variational Autoencoders

Tengfei Ma, Jie Chen+1 more|arXiv (Cornell University)|Sep 7, 2018

Bioinformatics and Genomic Networks被引用 82

一句话总结

本文提出了一种正则化的 VAE 框架，通过对约束惩罚进行边缘化来施加图的有效性约束，从而在分子和节点兼容图的语义有效生成方面实现更高的比例。

ABSTRACT

Deep generative models have achieved remarkable success in various data domains, including images, time series, and natural languages. There remain, however, substantial challenges for combinatorial structures, including graphs. One of the key challenges lies in the difficulty of ensuring semantic validity in context. For examples, in molecular graphs, the number of bonding-electron pairs must not exceed the valence of an atom; whereas in protein interaction networks, two proteins may be connected only when they belong to the same or correlated gene ontology terms. These constraints are not easy to be incorporated into a generative model. In this work, we propose a regularization framework for variational autoencoders as a step toward semantic validity. We focus on the matrix representation of graphs and formulate penalty terms that regularize the output distribution of the decoder to encourage the satisfaction of validity constraints. Experimental results confirm a much higher likelihood of sampling valid graphs in our approach, compared with others reported in the literature.

研究动机与目标

• 动机与解决深度生成模型在生成语义有效图方面所面临的挑战。
• 提出一种对 VAE 的正则化框架，通过对潜在变量的边缘化来强制执行图的有效性约束。
• 在分子数据集和合成的节点兼容图上展示生成图的有效性提升。
• 展示正则化如何影响潜在空间与重建性能。

提出的方法

• 用节点标签矩阵 F 和边标签张量 E 的矩阵形式表示图。
• 用 VAE 建模 p_theta(G|z)，并通过对 z 进行约束惩罚的边缘化来正则化解码器输出(对所有 z，g_i(theta,z)≤0)。
• 通过对潜在先验 p_theta(z) 对平方约束进行积分，定义带帽的约束项 tilde-hatted，以形成正则化。
• 使用 ramp 函数 g_i(theta,z)_+，以确保只对违反项（g_i>0）进行惩罚，并用蒙特卡罗采样近似该积分。
• 用 -ELBO 加上 mu 乘以边缘化约束惩罚的平方根进行训练（Eq. 7 与 Eq. 8）。
• 为 ghosts/valence（Eq. 9）、连通性（Eq. 10）和节点兼容性（Eq. 11）形成具体约束。

实验结果

研究问题

• RQ1 一个正则化的 VAE 框架是否能够在不同领域（分子和节点兼容图）中强制实现图生成的语义有效性？
• RQ2 与标准 VAE 相比，约束边缘化和 Ramp 基惟惩罚如何影响有效性、新颖性和重建指标？
• RQ3 正则化对潜在空间结构以及降噪/重建能力的影响如何？
• RQ4 通过 ghost 节点、价态、连通性和兼容性约束，所提出的约束是否能够推广到非分子图？

主要发现

• 正则化显著提高了先验下生成的有效图的比例，覆盖 QM9、ZINC 以及节点兼容数据集。
• 在 QM9 上，正则化使有效性从 83.2% 提升至 96.6%（ELBO 轻微下降，从 -17.3 到 -18.5）。
• 在 ZINC 上，有效性从 29.6% 提升至 34.9%（ELBO 从 -46.5 变为 -47.0）。
• 在节点兼容图上，有效性从 40.2% 提升至 98.4%（ELBO 从 -42.5 变为 -51.2）。
• 正则化 VAE 在有效性方面优于基线（QM9：96.6% vs GVAE 60.2% 和 CVAE 10.3%； ZINC：34.9% vs GVAE 7.2% 和 CVAE 0.7%）。
• 正则化使得降噪/重建具有意义，并实现潜在空间的平滑过渡（展示了潜在空间的可视化与插值）。
• 正则化显著提升在扰动下重建有效图的概率（标准 VAE: 11.2% 与正则化: 93.8%）。