[论文解读] Disentangling Interpretable Generative Parameters of Random and Real-World Graphs

Niklas Stoehr, Emine Yılmaz+2 more|arXiv (Cornell University)|Oct 12, 2019

Advanced Graph Neural Networks参考文献 37被引用 12

一句话总结

该论文提出了一种基于β-VAE的解耦表征学习框架，以无监督方式从图拓扑中恢复可解释的生成参数（例如，Erdős–Rényi图中的n和p）。通过使用解耦正则化的图自编码器进行训练，模型学习到与生成参数一一对应的潜在变量，并通过属性随机化与互信息分析量化了拓扑与节点属性之间的依赖关系，在合成数据上实现了0.335的MIG分数。

ABSTRACT

While a wide range of interpretable generative procedures for graphs exist, matching observed graph topologies with such procedures and choices for its parameters remains an open problem. Devising generative models that closely reproduce real-world graphs requires domain knowledge and time-consuming simulation. While existing deep learning approaches rely on less manual modelling, they offer little interpretability. This work approaches graph generation (decoding) as the inverse of graph compression (encoding). We show that in a disentanglement-focused deep autoencoding framework, specifically Beta-Variational Autoencoders (Beta-VAE), choices of generative procedures and their parameters arise naturally in the latent space. Our model is capable of learning disentangled, interpretable latent variables that represent the generative parameters of procedurally generated random graphs and real-world graphs. The degree of disentanglement is quantitatively measured using the Mutual Information Gap (MIG). When training our Beta-VAE model on ER random graphs, its latent variables have a near one-to-one mapping to the ER random graph parameters n and p. We deploy the model to analyse the correlation between graph topology and node attributes measuring their mutual dependence without handpicking topological properties.

研究动机与目标

• 解决在随机和现实世界图中识别可解释生成参数（例如，n、p）的挑战，而无需手动特征工程。
• 通过带解耦性的深度自编码器，实现对观测图结构背后生成机制的无监督发现。
• 在不预先选择拓扑特征的情况下，量化图拓扑与节点属性之间的依赖关系。
• 开发一种方法，以在潜在空间中解耦生成因子，从而提升可解释性与模型透明度。

提出的方法

• 将β-VAE适配于图结构，采用图卷积网络（GCN）作为编码器，去卷积网络作为解码器，以重建邻接矩阵。
• 引入参数解码器h，将解耦的潜在变量z映射到可解释的生成参数v，并通过线性映射强制实现一一对应关系。
• 采用β-退火策略平衡重构损失与KL正则化，促进潜在表示的正交性与解耦性。
• 采用节点属性随机化过程以探测拓扑与属性之间的独立性，通过改变随机化节点的比例ΔΩ进行分析。
• 利用互信息差距（MIG）量化解耦程度，测量ΔΩ与潜在变量变化之间互信息的差异。
• 在节点属性均匀分配的合成ER图上训练模型，并评估在属性随机化下潜在变量的偏移情况。

实验结果

研究问题

• RQ1 β-VAE模型中的解耦潜在变量能否表示Erdős–Rényi图中如n和p等可解释的生成参数？
• RQ2 潜在空间在多大程度上能将拓扑生成机制与节点属性生成过程解耦？
• RQ3 如何在不依赖人工挑选的拓扑特征的情况下，量化图拓扑与节点属性之间的互依赖关系？
• RQ4 当应用于现实世界图（如Microsoft Academic Graph）时，模型是否仍能保持解耦性？

主要发现

• β-VAE模型在Erdős–Rényi图中实现了潜在变量与生成参数n和p的近乎一一对应映射，证实了解耦的有效性。
• 潜在变量z₀和z₁对节点属性随机化保持不变，表明其编码了拓扑参数（n和p），而z₂则对属性变化高度敏感。
• 属性随机化下0.335的MIG分数表明拓扑与节点属性之间存在中等程度的解耦，支持了生成因子独立性的假设。
• 在Microsoft Academic Graph上，该方法揭示了合作模式（拓扑）与引用次数（节点属性）之间存在强相关性，证明了其在现实场景中的实用性。
• 该模型成功地在潜在空间中解耦了生成机制，实现了对底层图生成过程的无监督发现。