[论文解读] Diffusion Maps for Textual Network Embedding

Xinyuan Zhang, Yitong Li+2 more|arXiv (Cornell University)|May 24, 2018

Opinion Dynamics and Social Influence被引用 19

一句话总结

该论文提出了一种用于文本网络嵌入的扩散映射方法（DMTE），该方法通过扩散-卷积操作将全局图结构与文本表示相结合，以捕捉高阶邻近性。通过重新定义目标函数，使其基于扩散映射来条件化节点表示，DMTE在真实网络中的节点分类和链接预测任务上均优于当前最先进模型。

ABSTRACT

Textual network embedding leverages rich text information associated with the network to learn low-dimensional vectorial representations of vertices. Rather than using typical natural language processing (NLP) approaches, recent research exploits the relationship of texts on the same edge to graphically embed text. However, these models neglect to measure the complete level of connectivity between any two texts in the graph. We present diffusion maps for textual network embedding (DMTE), integrating global structural information of the graph to capture the semantic relatedness between texts, with a diffusion-convolution operation applied on the text inputs. In addition, a new objective function is designed to efficiently preserve the high-order proximity using the graph diffusion. Experimental results show that the proposed approach outperforms state-of-the-art methods on the vertex-classification and link-prediction tasks.

研究动机与目标

• 解决现有文本网络嵌入模型忽视非相邻文本之间全局结构连通性的问题。
• 通过图扩散捕捉长距离关系，提升稀疏网络中的语义相关性建模能力。
• 设计一种计算高效的损失函数，在不使用矩阵分解的前提下保留高阶邻近性。
• 证明将全局结构信息与文本嵌入结合，可为下游任务生成更具信息量的表示。
• 验证扩散-卷积机制在捕捉超邻居连接性方面的有效性。

提出的方法

• 应用一种扩散-卷积操作，通过图的归一化邻接矩阵及其幂级数生成的扩散映射，对每个节点进行扫描。
• 利用图扩散过程计算节点间随机游走的概率，编码多跳距离下的连通性水平。
• 重新设计目标函数，通过建模在给定节点 $v_j$ 的扩散映射条件下生成节点 $v_i$ 的条件概率，以保留高阶邻近性。
• 采用词嵌入平均作为初始文本表示，随后通过扩散-卷积层进行处理。
• 支持有向与无向、加权与非加权图，具备在大规模网络中扩展的能力。
• 利用扩散映射作为全局结构编码器，为局部文本表示增强长距离结构上下文。

实验结果

研究问题

• RQ1 与基于局部成对的方法相比，文本网络中的全局结构信息是否能提升非相邻文本之间的语义相关性？
• RQ2 将基于扩散的连通性度量引入是否能提升下游任务（如链接预测和节点分类）的性能？
• RQ3 基于扩散映射的条件概率的所提目标函数，在计算效率和表示质量方面与现有方法相比如何？
• RQ4 当节点间距离超过直接邻居时，扩散过程在多大程度上增强了嵌入表示？
• RQ5 该模型是否能在不增加模型复杂度的前提下，泛化应用于不同类型网络（有向、无向、加权）？

主要发现

• DMTE在多个真实世界数据集上的多标签分类和链接预测任务中均优于当前最先进方法。
• 在多标签分类任务中，DMTE在所有训练比例下均保持一致的性能提升，F1-Macro分数显著高于基线模型（如CANE）。
• 链接预测性能随扩散过程中跳数 $H$ 的增加而提升，当 $H$ 足够大时达到峰值，表明其有效建模了长距离连通性。
• 即使仅使用简单的词嵌入平均作为输入，DMTE仍能取得具有竞争力的性能，证明了重新设计目标函数的有效性。
• 案例研究显示，DMTE成功检索出图中未直接连接但语义相似的论文，例如在DBLP中，节点3比其直接邻居更接近。
• 仅依赖结构的模型性能低于同时结合文本与结构的模型，证实了联合建模的必要性。