[论文解读] Joint embedding of structure and features via graph convolutional networks

Sébastien Lerique, Jacob Levy Abitbol+1 more|arXiv (Cornell University)|May 21, 2019

Advanced Graph Neural Networks参考文献 69被引用 31

一句话总结

该论文提出AN2VEC，一种多任务图卷积变分自编码器，可将节点特征、网络结构以及特征-结构共享信息解耦为独立的嵌入维度。结果表明，通过共享潜在维度联合学习这些组件可提升重建性能，尤其在特征-结构相关性较高时，优于未共享信息的模型。

ABSTRACT

The creation of social ties is largely determined by the entangled effects of people's similarities in terms of individual characters and friends. However, feature and structural characters of people usually appear to be correlated, making it difficult to determine which has greater responsibility in the formation of the emergent network structure. We propose \\emph{AN2VEC}, a node embedding method which ultimately aims at disentangling the information shared by the structure of a network and the features of its nodes. Building on the recent developments of Graph Convolutional Networks (GCN), we develop a multitask GCN Variational Autoencoder where different dimensions of the generated embeddings can be dedicated to encoding feature information, network structure, and shared feature-network information. We explore the interaction between these disentangled characters by comparing the embedding reconstruction performance to a baseline case where no shared information is extracted. We use synthetic datasets with different levels of interdependency between feature and network characters and show (i) that shallow embeddings relying on shared information perform better than the corresponding reference with unshared information, (ii) that this performance gap increases with the correlation between network and feature structure, and (iii) that our embedding is able to capture joint information of structure and features. Our method can be relevant for the analysis and prediction of any featured network structure ranging from online social systems to network medicine.

研究动机与目标

• 为解决属性网络中节点特征与网络结构相互纠缠的影响这一挑战。
• 开发一种联合建模特征相似性与结构连通性的方法，从而可分别分析其对网络形成的影响。
• 评估特征与结构之间的共享信息是否能提升嵌入重建性能，相较于独立建模的方法。
• 提供一种框架，通过识别节点重要性源于结构属性还是特征属性，来解释节点在网络中的角色。

提出的方法

• AN2VEC采用多任务图卷积变分自编码器（GCN-VAE）学习具有解耦组件的节点嵌入：特征特异性、结构特异性和特征-结构共享维度。
• 模型为特征、邻接结构及其重叠部分分别设置独立的潜在空间组件，并通过共享瓶颈层编码联合信息。
• 在潜在空间中应用变分推断框架，使用KL散度正则化以确保解耦性与模型稳定性。
• 通过在节点特征和邻接矩阵上的重建损失进行端到端训练，邻接矩阵预测使用独立解码器。
• 通过变体形式支持消融研究：AN2VEC-0（无共享维度）、AN2VEC-16（16个共享维度），以及与浅层邻接解码器的对比。
• 使用可调特征与结构模式相关性的合成数据集，在受控条件下评估模型性能。

实验结果

研究问题

• RQ1 与独立建模相比，节点特征与网络结构之间共享信息在多大程度上能提升嵌入重建性能？
• RQ2 当特征与结构模式之间的相关性增加时，共享与非共享模型之间的性能差距如何变化？
• RQ3 当特征与结构相关时，嵌入的共享组件是否能有效捕捉联合信息？
• RQ4 解耦表示是否能更准确地识别节点重要性的来源——是结构性还是基于特征的？

主要发现

• 利用共享特征-结构信息的浅层嵌入（AN2VEC-16）在邻接矩阵重建方面显著优于无共享信息的基线模型（AN2VEC-0）。
• 在合成网络中，特征与结构模式相关性越高，共享与非共享模型之间的性能差距越大。
• 16维共享组件始终能有效捕捉联合信息，表现为在两种信号相关时重建准确率的提升。
• 该模型成功实现特征、结构及联合信息的解耦，支持对节点角色及网络形成机制的可解释性分析。
• 在合成数据集上，AN2VEC-16的AUC和AP得分均高于AN2VEC-0，尤其在特征与结构高度相关时表现更优。
• 该方法在真实世界基准数据集（Cora、CiteSeer、PubMed）上表现出鲁棒性与可扩展性，显示出在社交网络分析与网络医学应用中的潜力。