[论文解读] HAHE: Hierarchical Attentive Heterogeneous Information Network Embedding

Sheng Zhou, Jiajun Bu+3 more|arXiv (Cornell University)|Jan 31, 2019

Advanced Graph Neural Networks参考文献 45被引用 23

一句话总结

HAHE 提出了一种异质信息网络（HIN）嵌入的层次注意力机制，能够同时对元路径和路径实例建模个性化偏好。通过应用元路径注意力层和路径实例注意力层，HAHE 在真实世界数据集（如 DBLP、Yelp 和 IMDB）上的节点分类、聚类和可视化任务中，优于当前最先进方法。

ABSTRACT

Heterogeneous information network (HIN) embedding has recently attracted much attention due to its effectiveness in dealing with the complex heterogeneous data. Meta path, which connects different object types with various semantic meanings, is widely used by existing HIN embedding works. However, several challenges have not been addressed so far. First, different meta paths convey different semantic meanings, while existing works assume that all nodes share same weights for meta paths and ignore the personalized preferences of different nodes on different meta paths. Second, given a meta path, nodes in HIN are connected by path instances while existing works fail to fully explore the differences between path instances that reflect nodes' preferences in the semantic space. rTo tackle the above challenges, we propose aHierarchical Attentive Heterogeneous information network Embedding (HAHE) model to capture the personalized preferences on meta paths and path instances in each semantic space. As path instances are based on a particular meta path, a hierarchical attention mechanism is naturally utilized to model the personalized preference on meta paths and path instances. Extensive experiments on several real-world datasets show that our proposed \model model significantly outperforms the state-of-the-art methods in terms of various data mining tasks.

研究动机与目标

• 为解决现有 HIN 嵌入方法将所有元路径同等对待、未建模节点特定偏好的局限性。
• 捕捉同一元路径下不同路径实例之间的差异，这些差异在以往工作中常被忽略。
• 开发一种模型，学习元路径与路径实例的个性化注意力权重，以提升嵌入质量。
• 在提升对噪声元路径与路径实例的鲁棒性的同时，通过注意力系数增强可解释性。
• 在多种数据挖掘任务中，验证层次注意力在真实世界 HIN 中的有效性。

提出的方法

• HAHE 采用具有两层的层次注意力机制：元路径注意力层与路径实例注意力层。
• 元路径注意力层为不同元路径计算节点特定的注意力系数，反映个性化偏好。
• 路径实例注意力层为每个元路径下的各个路径实例分配重要性得分，突出相关连接。
• 注意力系数通过神经网络学习，该网络考虑节点表示与结构上下文。
• 基于学习到的注意力权重，通过加权聚合邻居表示来更新节点嵌入。
• 模型通过对比损失端到端训练，以在学习到的嵌入空间中保持邻近性。

实验结果

研究问题

• RQ1 层次注意力机制能否有效建模异质信息网络中元路径的个性化偏好？
• RQ2 对路径实例的注意力是否能通过区分相关连接与噪声连接，提升嵌入质量？
• RQ3 所提出的 HAHE 模型是否在节点分类与聚类任务中优于当前最先进 HIN 嵌入方法？
• RQ4 注意力系数能否为每个节点提供关于哪些元路径与路径实例最相关的可解释洞察？
• RQ5 HAHE 的性能对超参数（如嵌入维度与偏好向量大小）的敏感性如何？

主要发现

• HAHE 在节点分类任务中显著优于当前最先进方法（如 Metapath2Vec 与 HIN2Vec），在 DBLP、Yelp 与 IMDB 数据集上均取得更高的 Micro-F1 分数。
• 使用 t-SNE 的网络可视化显示，HAHE 产生的类间分离更清晰，同类标签的节点聚集在一起。
• 元路径性能与其学习到的注意力系数之间存在强烈正相关，验证了模型捕捉有意义偏好的能力。
• 注意力系数的箱线图显示，不同节点对同一元路径分配的权重不同，证实了个性化偏好建模的有效性。
• HAHE 对超参数变化具有鲁棒性，当嵌入维度超过 50 且偏好向量维度变化时，性能下降微乎其微。
• 注意力机制通过突出与任务相关的节点与路径，提升了信噪比并增强了模型可解释性。