[论文解读] CARL: Content-Aware Representation Learning for Heterogeneous Networks

Chuxu Zhang, Ananthram Swami+1 more|arXiv (Cornell University)|May 14, 2018

Advanced Graph Neural Networks参考文献 25被引用 3

一句话总结

CARL 提出了一种用于异质网络的内容感知表征学习框架，通过联合优化异质 SkipGram 模型与深度语义编码，以捕捉节点之间的结构关系与语义关系。该方法在链接预测、文档检索、节点推荐和相关性搜索任务中均达到最先进性能，并配备高效的在线更新模块，支持在动态增长的网络中进行增量式节点表征学习。

ABSTRACT

Heterogeneous networks not only present a challenge of heterogeneity in the types of nodes and relations, but also the attributes and content associated with the nodes. While recent works have looked at representation learning on homogeneous and heterogeneous networks, there is no work that has collectively addressed the following challenges: (a) the heterogeneous structural information of the network consisting of multiple types of nodes and relations; (b) the unstructured semantic content (e.g., text) associated with nodes; and (c) online updates due to incoming new nodes in growing network. We address these challenges by developing a Content-Aware Representation Learning model (CARL). CARL performs joint optimization of heterogeneous SkipGram and deep semantic encoding for capturing both heterogeneous structural closeness and unstructured semantic relations among all nodes, as function of node content, that exist in the network. Furthermore, an additional online update module is proposed for efficiently learning representations of incoming nodes. Extensive experiments demonstrate that CARL outperforms state-of-the-art baselines in various heterogeneous network mining tasks, such as link prediction, document retrieval, node recommendation and relevance search. We also demonstrate the effectiveness of the CARL's online update module through a category visualization study.

研究动机与目标

• 为解决在整合多种节点类型、关系类型及非结构化内容的异质信息网络（HetNets）中学习有效节点表征的挑战。
• 联合建模结构邻近性（通过异质 SkipGram）与语义相似性（通过节点内容的深度语义编码），以提升表征学习效果。
• 通过专用的在线更新模块，实现在动态增长的 HetNets 中对新节点进行高效、增量式的表征学习。
• 克服现有模型仅依赖结构信息、难以扩展至动态网络的局限性。

提出的方法

• CARL 使用异质 SkipGram 模型，通过基于元路径的随机游走采样，在多种节点类型与关系类型之间保持结构邻近性。
• 通过深度语义编码（例如使用 BiLSTM 或 CNN 等神经网络）整合与特定节点类型（如论文摘要）相关联的非结构化文本内容。
• 采用负采样与游走采样策略，对异质 SkipGram 与语义编码目标进行联合优化。
• 设计了在线更新模块，通过利用新节点与已有节点的连接关系及其邻居的预训练表征，推断新节点的表征。
• 框架支持端到端训练与推理，能够在无需完整重训的情况下处理动态网络增长。
• 使用 TensorFlow 的嵌入投影工具（embedding projector）对新添加节点的表征质量进行可视化与验证。

实验结果

研究问题

• RQ1 统一的表征学习框架能否有效捕捉异质网络中结构与语义关系的双重特性？
• RQ2 如何将与节点关联的非结构化文本内容有效整合到网络表征学习中，以提升语义相关性？
• RQ3 在线更新机制能否在不重训整个模型的前提下，高效学习新节点的表征？
• RQ4 联合建模结构与语义信号是否能提升下游任务（如链接预测与节点推荐）的性能？

主要发现

• CARL 在多个 HetNet 挖掘任务（包括链接预测、文档检索、节点推荐与相关性搜索）中均优于最先进基线模型。
• 深度语义编码器成功为新论文生成有意义的表征，同一研究类别（如 DM、CV、HCI）的论文在二维与三维可视化中呈现紧密聚类。
• 在线更新模块有效学习了新作者的表征，其在可视化中按研究类别形成清晰聚类，且各类别之间无重叠。
• 类别可视化研究证实，该在线更新模块能够为新添加节点保持语义与结构保真度。
• 异质 SkipGram 与语义编码的联合优化，相比仅依赖结构信息的模型，生成了更鲁棒、更具判别力的节点表征。