[论文解读] A General Framework for Content-enhanced Network Representation Learning

Xiaofei Sun, Jiang Guo+2 more|arXiv (Cornell University)|Oct 10, 2016

Advanced Graph Neural Networks参考文献 32被引用 72

一句话总结

本文提出 CENE，一种内容增强网络表征学习的通用框架，将文本内容视为特殊节点，通过统一的优化目标联合建模网络结构与文本语义。在真实世界数据集上的实验表明，CENE 在节点分类任务中显著优于现有方法，其中基于 BiRNN 的 CENE 在 Zhihu-Profession 数据集上使用 90% 训练数据时达到 66.35 的 F1 分数，证明了通过丰富的内容建模进行联合学习的有效性。

ABSTRACT

This paper investigates the problem of network embedding, which aims at learning low-dimensional vector representation of nodes in networks. Most existing network embedding methods rely solely on the network structure, i.e., the linkage relationships between nodes, but ignore the rich content information associated with it, which is common in real world networks and beneficial to describing the characteristics of a node. In this paper, we propose content-enhanced network embedding (CENE), which is capable of jointly leveraging the network structure and the content information. Our approach integrates text modeling and structure modeling in a general framework by treating the content information as a special kind of node. Experiments on several real world net- works with application to node classification show that our models outperform all existing network embedding methods, demonstrating the merits of content information and joint learning.

研究动机与目标

• 为解决现有网络嵌入方法忽略丰富节点内容信息（如文本、图像或元数据）的局限性。
• 开发一种统一框架，联合建模网络结构与文本内容，以提升节点表征学习效果。
• 证明通过结构化、可微分的框架整合内容信息，可增强下游任务（如节点分类）的性能。
• 提供一种可扩展且可泛化的方案，适用于文本以外的多种内容模态。
• 发布一个包含节点属性与文本内容的新真实世界数据集，供公众研究使用。

提出的方法

• 将内容形式化为网络中的一种特殊节点，构建包含节点-节点与节点-内容链接的混合网络。
• 使用深度模型（如 RNN、BiRNN 或平均池化）对文本内容进行嵌入，生成内容节点表征。
• 设计联合目标函数，同时优化结构接近度（通过随机游走）与内容-文本相似度，利用超参数 α 平衡结构与内容信息。
• 在从随机游走中提取的节点序列上采用类似 skip-gram 的训练方式，将内容节点整合进游走过程。
• 通过端到端反向传播，联合学习节点表征，传播路径贯穿结构与内容建模组件。
• 该框架支持多种内容建模技术，并可扩展至非文本内容（如图像）

实验结果

研究问题

• RQ1 联合建模网络结构与文本内容是否能超越仅基于结构的方法，提升节点表征学习效果？
• RQ2 将内容作为特殊节点类型进行整合，对节点分类任务的性能有何影响？
• RQ3 不同文本建模技术（如 RNN 与平均池化）对最终节点嵌入有何影响？
• RQ4 结构与内容信息之间的平衡（由 α 控制）如何影响模型性能？
• RQ5 模型能否通过利用内容信息，有效表征缺乏结构连通性的低度数节点？

主要发现

• 基于 BiRNN 的 CENE 在 Zhihu-Profession 数据集上使用 90% 训练数据时达到 66.35 的 F1 分数，优于甚至超过半监督的 TriDNR 模型。
• CENE 在 Zhihu-Profession 数据集上，使用 RNN 和 BiRNN 模型分别在 80% 和 90% 训练数据下取得 65.57 和 66.35 的 F1 分数，显示出在不同数据划分下的优异性能。
• 模型在低度数节点上的性能显著提升，如图 4 所示，CENE 在连接稀疏的节点上显著优于 DeepWalk。
• 性能在中间 α 值（如 α ≈ 0.5–0.8）达到峰值，当 α 接近 1.0 时性能急剧下降，表明内容信息至关重要，而仅依赖结构信息是不足的。
• 在 Zhihu 的位置预测任务中，随着 α 增大，性能下降，表明网络结构可能为位置推断引入噪声，而内容信息更具信息量。
• 模型在约 k ≈ 100 次迭代后稳定收敛，且在不同任务与数据划分下表现稳健。