[论文解读] Improved Semantic-Aware Network Embedding with Fine-Grained Word Alignment

Dinghan Shen, Xinyuan Zhang+2 more|arXiv (Cornell University)|Aug 29, 2018

Advanced Graph Neural Networks参考文献 27被引用 4

一句话总结

本文提出 WANE-ww，一种新颖的网络嵌入框架，通过在关联顶点对的文本序列之间执行细粒度的逐字对齐，增强语义感知表示。通过使用逐元素减法进行匹配，以及使用最大池化进行聚合，该模型捕捉到有意义的语义关系，在三个真实世界数据集上的链接预测和顶点分类任务中均达到最先进性能，其中在 Cora 数据集上以 10% 的训练比例达到最高 85.1% 的准确率。

ABSTRACT

Network embeddings, which learn low-dimensional representations for each vertex in a large-scale network, have received considerable attention in recent years. For a wide range of applications, vertices in a network are typically accompanied by rich textual information such as user profiles, paper abstracts, etc. We propose to incorporate semantic features into network embeddings by matching important words between text sequences for all pairs of vertices. We introduce a word-by-word alignment framework that measures the compatibility of embeddings between word pairs, and then adaptively accumulates these alignment features with a simple yet effective aggregation function. In experiments, we evaluate the proposed framework on three real-world benchmarks for downstream tasks, including link prediction and multi-label vertex classification. Results demonstrate that our model outperforms state-of-the-art network embedding methods by a large margin.

研究动机与目标

• 为了解决现有网络嵌入方法将文本序列视为整体嵌入、忽略细粒度语义词级关系的局限性。
• 开发一种显式建模顶点对文本序列之间逐字兼容性的框架，以改善语义感知的网络表示。
• 创建一种高效、可扩展的方法，避免使用复杂的 RNN/CNN 架构，同时在下游任务中保持高性能。
• 证明自适应、上下文感知的词对齐可生成比现有基线方法更具信息量和鲁棒性的网络嵌入。

提出的方法

• 该模型引入一种逐字对齐机制，通过基于注意力的加权方案，计算一个句子中的每个词与另一句子中的关键词之间的匹配向量。
• 通过逐元素操作（如减法、乘法或其拼接）计算匹配特征，对对齐的词嵌入进行操作，以捕捉语义兼容性。
• 应用最大池化聚合函数，从所有词对中选择最显著的对齐特征，生成紧凑的句子级表示。
• 通过联合优化图的结构信息和文本序列的对齐语义特征，学习最终的网络嵌入。
• 该框架设计为高度可并行化，无需循环或卷积编码器，从而实现在大规模网络上的快速训练。
• 模型通过对比损失目标端到端训练，以保持连接顶点之间的结构和语义相似性。

实验结果

研究问题

• RQ1 与句子级匹配相比，文本序列之间的细粒度逐字对齐是否能提升网络嵌入的质量？
• RQ2 匹配操作的选择（如减法、乘法）如何影响下游任务的性能？
• RQ3 最大池化聚合是否在捕捉顶点表示相关语义特征方面优于平均池化或基于 CNN 的池化？
• RQ4 与最先进基线相比，该方法在链接预测和半监督顶点分类任务上的性能提升程度如何？
• RQ5 该模型能否突出显示有意义的词对（如关键词），以解释顶点之间的预测关系？

主要发现

• 在 Cora 数据集上，WANE-ww 在仅使用 10% 标注训练数据的情况下，实现了 85.1% 的半监督顶点分类准确率，比次佳基线（CANE）高出 1.7 个百分点。
• 在 HepTh 数据集上，WANE-ww 在 7% 的训练比例下达到 82.7% 的准确率，超越先前最先进方法（CANE）2.3 个百分点。
• 在所有三个数据集中，逐元素减法被证明是最有效的匹配操作，始终优于乘法及其拼接形式。
• 最大池化聚合在所有数据集中均取得最佳结果，表明其在选择最具信息量的词级对齐特征方面具有显著有效性。
• t-SNE 可视化结果证实，即使在无标签监督的情况下，WANE-ww 嵌入也能按标签聚类，表明其学习到了有意义的语义结构。
• 案例研究显示，如 'MCMC' 和 'convergence' 等关键技术术语被赋予较高的匹配向量范数，证实了模型识别语义相关词对的能力。