[论文解读] Improving Textual Network Embedding with Global Attention via Optimal Transport

Li‐Qun Chen, Guoyin Wang+7 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Graph Neural Networks参考文献 51被引用 6

一句话总结

该论文提出GANE，一种基于最优传输的全局注意力网络嵌入模型，用于在文本网络中实现稀疏、自归一化且全局感知的文本匹配。通过整合基于最优传输的注意力机制与高层解析机制，GANE在多个数据集上的链接预测和多标签节点分类任务中，显著优于当前最先进方法，提升了长距离依赖建模能力。

ABSTRACT

Constituting highly informative network embeddings is an important tool for network analysis. It encodes network topology, along with other useful side information, into low-dimensional node-based feature representations that can be exploited by statistical modeling. This work focuses on learning context-aware network embeddings augmented with text data. We reformulate the network-embedding problem, and present two novel strategies to improve over traditional attention mechanisms: ($i$) a content-aware sparse attention module based on optimal transport, and ($ii$) a high-level attention parsing module. Our approach yields naturally sparse and self-normalized relational inference. It can capture long-term interactions between sequences, thus addressing the challenges faced by existing textual network embedding schemes. Extensive experiments are conducted to demonstrate our model can consistently outperform alternative state-of-the-art methods.

研究动机与目标

• 为解决现有上下文感知网络嵌入方法的局限性，特别是密集注意力矩阵和缺乏全局序列级建模的问题。
• 通过引入基于最优传输的合理注意力机制，提升文本网络嵌入中的关系推理与噪声抑制能力。
• 通过高层注意力解析模块，实现文本序列之间的长期交互建模。
• 在再生核希尔伯特空间中构建统一框架，以泛化并阐明现有网络嵌入公式。

提出的方法

• 在再生核希尔伯特空间（RKHS）中提出网络嵌入的新型公式，以泛化并统一现有方法。
• 引入基于最优传输的内容感知稀疏注意力模块，计算文本序列之间的稀疏、自归一化注意力矩阵。
• 采用高层注意力解析机制，对低层注意力输出进行操作，以建模长距离依赖并支持关系推理。
• 使用具有可学习滤波器的卷积层处理注意力矩阵，捕捉n-gram级别的交互。
• 通过t-SNE可视化和注意力矩阵对比，定性验证所学习注意力的稀疏性与语义合理性。
• 端到端训练，联合优化节点嵌入与文本表示，采用统一目标函数。

实验结果

研究问题

• RQ1 与传统的基于相似度的方法相比，基于最优传输的注意力是否能在文本网络嵌入中生成更稀疏且更具信息量的注意力矩阵？
• RQ2 高层注意力解析机制是否能改善网络嵌入中文本序列之间的长距离交互建模？
• RQ3 所提出的全局注意力机制与局部成对注意力相比，在捕捉上下文感知节点表示方面表现如何？
• RQ4 将最优传输与注意力解析相结合，对链接预测和节点分类等下游任务的性能提升程度如何？
• RQ5 在低数据设置下，该模型是否具备鲁棒性？性能是否会随着训练样本增加而提升？

主要发现

• 在Cora数据集上，GANE-AP在70%训练标签的多标签节点分类任务中取得88.5%的最高宏F1分数，优于WANE（88.1%）和DMTE（87.9%）。
• 在链接预测任务中，GANE-OT与GANE-AP始终优于所有基线模型，且在低训练样本设置下性能差距进一步扩大。
• 基于最优传输的注意力机制自然生成稀疏注意力矩阵，与点积注意力（如WANE）产生的密集矩阵形成对比，表明其具备更优的噪声抑制能力。
• t-SNE可视化显示，即使在训练过程中未使用标签信息，GANE-OT的嵌入仍能按标签良好聚类，表明其具备有效的表征学习能力。
• 消融实验表明，n-gram长度约为20时，链接预测的AUC性能达到峰值，提示适中的注意力感受野为最优。
• 注意力解析机制（GANE-AP）在基础OT注意力模型（GANE-OT）基础上进一步提升性能，证实其在关系推理与上下文建模中的有效性。