[论文解读] FSCNMF: Fusing Structure and Content via Non-negative Matrix Factorization for Embedding Information Networks

Sambaran Bandyopadhyay, Harsh Kara+2 more|arXiv (Cornell University)|Apr 15, 2018

Advanced Graph Neural Networks参考文献 34被引用 13

一句话总结

该论文提出FSCNMF，一种非负矩阵分解框架，通过融合网络结构与节点内容，联合学习低维节点嵌入，并利用互正则化增强语义一致性。与最先进基线方法相比，该方法在真实网络中的节点聚类、可视化及多分类任务中显著提升了性能。

ABSTRACT

Analysis and visualization of an information network can be facilitated better using an appropriate embedding of the network. Network embedding learns a compact low-dimensional vector representation for each node of the network, and uses this lower dimensional representation for different network analysis tasks. Only the structure of the network is considered by a majority of the current embedding algorithms. However, some content is associated with each node, in most of the practical applications, which can help to understand the underlying semantics of the network. It is not straightforward to integrate the content of each node in the current state-of-the-art network embedding methods. In this paper, we propose a nonnegative matrix factorization based optimization framework, namely FSCNMF which considers both the network structure and the content of the nodes while learning a lower dimensional representation of each node in the network. Our approach systematically regularizes structure based on content and vice versa to exploit the consistency between the structure and content to the best possible extent. We further extend the basic FSCNMF to an advanced method, namely FSCNMF++ to capture the higher order proximities in the network. We conduct experiments on real world information networks for different types of machine learning applications such as node clustering, visualization, and multi-class classification. The results show that our method can represent the network significantly better than the state-of-the-art algorithms and improve the performance across all the applications that we consider.

研究动机与目标

• 为解决现有网络嵌入方法忽略节点内容的问题，尽管内容中蕴含宝贵的语义信息。
• 开发一种统一的无监督框架，系统性地通过内容正则化结构，反之亦然，以利用其一致性。
• 通过在低维嵌入空间中联合优化结构与内容，提升节点表示质量。
• 将框架扩展至捕捉高阶邻近性，并支持多种内容类型（例如，文本、图像、视频）。

提出的方法

• FSCNMF使用非负矩阵分解（NMF）学习两种正则化嵌入：一种用于网络结构（B₁），一种用于节点内容（U），并引入互正则化。
• 目标函数最小化结构与内容的重构误差，同时通过正则化项强制B₁与U之间的相似性。
• 最终嵌入通过正则化结构嵌入与内容嵌入的凸组合形成：γ×B₁ + (1−γ)×U，其中γ控制权衡。
• FSCNMF++通过在优化中引入高阶邻近性矩阵，扩展方法以捕捉高阶邻近性。
• 通过将内容矩阵U推广至支持多模态特征，框架支持异质内容类型。
• 采用乘法更新算法推导出快速更新规则，以确保计算效率。

实验结果

研究问题

• RQ1 通过NMF联合优化网络结构与节点内容，是否能生成优于仅考虑结构的方法的节点嵌入？
• RQ2 结构与内容之间的互正则化如何提升节点表示的判别能力？
• RQ3 在不同真实网络中，结构与内容信息的最佳平衡是什么？
• RQ4 该框架在聚类、分类和可视化等多样化任务中的表现如何？
• RQ5 该方法能否推广至具有多模态节点内容（如文本、图像、视频）的网络？

主要发现

• FSCNMF在所有测试数据集的节点聚类任务中均优于最先进方法，在Citeseer、Wikipedia和Pubmed-Diabetes数据集中取得了显著的准确率提升。
• 在Citeseer和Wikipedia数据集中，内容比结构更具信息量，当内容被赋予更高权重时，性能达到最优。
• 在MSA数据集中，结构信息更具信息量，当在嵌入融合中优先考虑结构时，性能得到提升。
• FSCNMF++变体有效捕捉了高阶邻近性，从而在社区检测和节点分类任务中表现更优。
• 该框架对结构与内容之间噪声和不一致性表现出鲁棒性，在部分错位情况下优于TADW。
• 基于FSCNMF嵌入的谱聚类运行速度优于其他嵌入，表明所学表示更准确地反映了底层社区结构。