[论文解读] Latent Network Summarization: Bridging Network Embedding and Summarization

Di Jin, Ryan A. Rossi+4 more|arXiv (Cornell University)|Nov 11, 2018

Advanced Graph Neural Networks参考文献 31被引用 4

一句话总结

本文提出 Multi-LENS，一种新颖的归纳式潜在网络摘要框架，通过关系运算符和函数组合，学习图的大小无关、低秩结构摘要。其在链接预测任务中的 AUC 比当前最先进嵌入方法高出 3.5–34.3%，同时存储空间减少 80–2152 倍，实现了无需存储密集嵌入的即时节点嵌入计算，显著提升效率。

ABSTRACT

Motivated by the computational and storage challenges that dense embeddings pose, we introduce the problem of latent network summarization that aims to learn a compact, latent representation of the graph structure with dimensionality that is independent of the input graph size (i.e., #nodes and #edges), while retaining the ability to derive node representations on the fly. We propose Multi-LENS, an inductive multi-level latent network summarization approach that leverages a set of relational operators and relational functions (compositions of operators) to capture the structure of egonets and higher-order subgraphs, respectively. The structure is stored in low-rank, size-independent structural feature matrices, which along with the relational functions comprise our latent network summary. Multi-LENS is general and naturally supports both homogeneous and heterogeneous graphs with or without directionality, weights, attributes or labels. Extensive experiments on real graphs show 3.5 - 34.3% improvement in AUC for link prediction, while requiring 80 - 2152x less output storage space than baseline embedding methods on large datasets. As application areas, we show the effectiveness of Multi-LENS in detecting anomalies and events in the Enron email communication graph and Twitter co-mention graph.

研究动机与目标

• 解决大规模图中密集网络嵌入带来的高计算与存储成本问题。
• 提出一种新的潜在网络摘要问题，生成与图大小无关的图摘要。
• 设计一种通用的归纳式框架，支持异构、有向、加权及带属性的图。
• 实现在不存储完整嵌入的前提下，即时计算节点嵌入。
• 在下游任务（如链接预测与异常检测）中实现显著性能提升，同时保持极低的存储开销。

提出的方法

• 提出 Multi-LENS，一种基于节点邻域关系运算符（如均值、求和）的归纳式框架，用于组合多层次结构函数。
• 通过低秩逼近，从关系函数组合中推导出紧凑的、与大小无关的结构特征矩阵（S），其维度为 K×C。
• 将潜在摘要表示为关系函数（F_r）与低秩矩阵（S）的组合，二者均与节点数和边数无关。
• 通过在不同节点类型与边类型间应用关系运算符（包括基于元路径的组合），支持异构图。
• 通过将潜在摘要与节点特定上下文函数组合，实现在不存储密集表示的前提下即时计算节点嵌入。
• 通过边数线性时间复杂度与可并行化的节点级计算，确保可扩展性。

实验结果

研究问题

• RQ1 能否设计一种潜在网络摘要框架，在保持结构信息的同时与图大小无关？
• RQ2 关系函数组合是否能比密集嵌入更高效地捕捉高阶网络结构？
• RQ3 所提方法是否在显著减少存储空间的前提下，实现比嵌入基线更优的链接预测性能？
• RQ4 潜在摘要是否能支持归纳学习与即时节点嵌入生成？
• RQ5 该方法在真实世界应用（如大规模图中的异常与事件检测）中是否具有实际有效性？

主要发现

• Multi-LENS 在真实世界图上的链接预测任务中，AUC 比当前最先进嵌入方法高出 3.5–34.3%。
• 在包含数百万条边的大规模数据集上，该方法相比基线嵌入技术将输出存储空间减少 80–2152 倍。
• 该框架支持归纳学习，并可在不存储密集表示的前提下实现即时节点嵌入计算。
• Multi-LENS 在 Enron 邮件图与 Twitter 共提及图中有效检测出异常与事件，展现出实际应用价值。
• 该方法在边数上线性扩展，且具备可并行性，适用于大规模图。
• 潜在摘要具有通用性，无需针对特定任务调优，即可支持异构、有向、加权及带属性的图。