[论文解读] Attributed Network Embedding for Incomplete Attributed Networks

Chengbin Hou, Shan He+1 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Graph Neural Networks参考文献 29被引用 7

一句话总结

本文提出了一种名为属性偏置随机游走（Attributed Biased Random Walks, ABRW）的新方法，通过将结构信息与属性信息融合到更密集的转移矩阵中，以增强缺失数据，在不完整属性网络中学习节点嵌入。该方法在六个真实世界数据集上提升了链接预测与节点分类性能，对缺失链接和属性表现出强鲁棒性。

ABSTRACT

Attributed networks are ubiquitous since a network often comes with auxiliary attribute information e.g. a social network with user profiles. Attributed Network Embedding (ANE) has recently attracted considerable attention, which aims to learn unified low dimensional node embeddings while preserving both structural and attribute information. The resulting node embeddings can then facilitate various network downstream tasks e.g. link prediction. Although there are several ANE methods, most of them cannot deal with incomplete attributed networks with missing links and/or missing node attributes, which often occur in real-world scenarios. To address this issue, we propose a robust ANE method, the general idea of which is to reconstruct a unified denser network by fusing two sources of information for information enhancement, and then employ a random walks based network embedding method for learning node embeddings. The experiments of link prediction, node classification, visualization, and parameter sensitivity analysis on six real-world datasets validate the effectiveness of our method to incomplete attributed networks.

研究动机与目标

• 解决在同时缺失链接与节点属性的不完整属性网络中学习有效节点嵌入的挑战。
• 克服现有PNE与ANE方法在数据稀疏情况下因结构或属性信息缺失而失效的局限性。
• 构建一个统一框架，利用结构与属性信息重建更密集的网络，以提升嵌入质量。
• 确保在具有不同不完全程度的多样化真实世界网络（包括引文网络与社交网络）中具备鲁棒性。
• 提供一种可泛化的通用方法，适用于任何基于对象的数据，其多种信息源可编码为转移矩阵。

提出的方法

• 分别构建两个独立的转移矩阵：一个基于网络结构（使用随机游走），另一个基于节点属性（使用特征向量的余弦相似度）。
• 通过平衡超参数α将两个转移矩阵融合为一个偏置转移矩阵，以权衡结构与属性信息的贡献。
• 在融合后的转移矩阵上执行加权随机游走，生成保留结构与属性邻近性的节点序列。
• 在随机游走序列上训练跳字模型（skip-gram），以学习捕捉网络拓扑与属性语义的低维节点嵌入。
• 以重建的更密集网络为基础进行嵌入学习，通过信息融合有效补偿缺失的链接与属性。
• 整合超参数α（控制结构与属性之间的平衡）与top-k（保留最相似属性邻居的数量）以控制信息流动与网络密度。

实验结果

研究问题

• RQ1 能否从不完整结构与属性信息中统一重建一个更密集的网络，以提升节点嵌入质量？
• RQ2 结构与属性信息之间的平衡（由α控制）对链接预测与节点分类性能有何影响？
• RQ3 在稀疏网络中，保留top-k属性相似邻居在多大程度上能提升嵌入的鲁棒性？
• RQ4 在不完整属性网络中，ABRW与现有PNE与ANE方法在下游任务性能上的表现如何比较？
• RQ5 所提出的方法是否具有通用性，可适用于不同类型网络（如引文网络与社交网络）及不同不完全程度的场景？

主要发现

• ABRW在六个真实世界数据集（包括存在缺失链接与属性的引文与社交网络）上实现了链接预测的最先进性能。
• 在引文网络中，不同α值下的性能表现相近，表明结构与属性信息各自均具有较强的表征能力。
• 在社交网络中，较高的α值（更强的结构侧重）表现更优，因为结构信息比稀疏的属性信息更可靠。
• 在社交网络中，top-k超参数对性能影响较小，因为其结构连接更丰富，有助于稳定嵌入过程。
• 敏感性分析表明，当结构数据充足时，ABRW对超参数选择具有强鲁棒性。
• 该方法在不完整网络上优于基线PNE与ANE模型，证明了通过信息融合有效补偿缺失数据的有效性。