[论文解读] AspEm: Embedding Learning by Aspects in Heterogeneous Information Networks

Yu Shi, Huan Gui+3 more|arXiv (Cornell University)|Mar 5, 2018

Advanced Graph Neural Networks参考文献 28被引用 15

一句话总结

AspEm 提出了一种用于异质信息网络（HIN）嵌入的新型框架，通过为每个语义方面（如电影网络中的类型和导演）学习独立的低维表示，从而建模多种语义特征，缓解语义不兼容性问题。它通过使用无监督的、基于数据集整体统计的方法选择代表性语义方面，在链接预测和分类任务中实现了最先进性能，优于单一空间嵌入方法。

ABSTRACT

Heterogeneous information networks (HINs) are ubiquitous in real-world applications. Due to the heterogeneity in HINs, the typed edges may not fully align with each other. In order to capture the semantic subtlety, we propose the concept of aspects with each aspect being a unit representing one underlying semantic facet. Meanwhile, network embedding has emerged as a powerful method for learning network representation, where the learned embedding can be used as features in various downstream applications. Therefore, we are motivated to propose a novel embedding learning framework---AspEm---to preserve the semantic information in HINs based on multiple aspects. Instead of preserving information of the network in one semantic space, AspEm encapsulates information regarding each aspect individually. In order to select aspects for embedding purpose, we further devise a solution for AspEm based on dataset-wide statistics. To corroborate the efficacy of AspEm, we conducted experiments on two real-words datasets with two types of applications---classification and link prediction. Experiment results demonstrate that AspEm can outperform baseline network embedding learning methods by considering multiple aspects, where the aspects can be selected from the given HIN in an unsupervised manner.

研究动机与目标

• 为解决异质信息网络（HIN）中的语义不兼容性问题，其中不同类型的关系（如类型与导演）在单一嵌入空间中难以对齐。
• 通过基于语义方面的分解方法捕捉网络中细微的语义特征，从而改进网络表示学习。
• 提出一种无监督的、基于统计的方法，从任意 HIN 中自动选择一组代表性语义方面，无需任务特定标签或监督。
• 证明独立嵌入每个语义方面可获得优于统一空间嵌入方法的下游任务性能。

提出的方法

• 引入‘语义方面’的概念，作为捕捉 HIN 中不同潜在语义的语义特征（如类型、导演）。
• 提出 AspEm 框架，为每个选定的语义方面在独立的低维空间中学习节点嵌入。
• 采用基于节点类型共现和不一致性得分的统计方法，无监督地识别并选择 HIN 中的代表性语义方面。
• 为每个语义方面专用的嵌入空间使用类似 skip-gram 的目标函数，以保留局部网络结构和语义关系。
• 通过组合语义方面专用的嵌入，支持链接预测和节点分类任务，使每个方面为更细致的表示做出贡献。
• 通过按语义方面分解的方式，支持可扩展性，允许与现有网络嵌入方法集成。

实验结果

研究问题

• RQ1 在独立的嵌入空间中建模多个语义方面，是否能改善异质信息网络中的表示学习？
• RQ2 能否仅使用数据集整体统计信息，无监督地自动从 HIN 中选择一组代表性语义方面？
• RQ3 所提出的无监督语义方面选择方法是否能产生优于其他组合方式的高质量语义方面？
• RQ4 AspEm 的性能如何随嵌入维度和训练采样边数的变化而变化？
• RQ5 基于语义方面的嵌入学习是否能在下游任务（如链接预测和分类）中优于统一空间嵌入方法？

主要发现

• AspEm 在两个真实世界 HIN（DBLP 和 IMDb）上的链接预测和节点分类任务中，均优于基线网络嵌入方法。
• 通过所提出的无监督方法选择的语义方面集合——在 DBLP 上为 {APRTV, APY}——实现了最高性能，P@1 达到 0.7724，R@10 达到 0.8810，优于所有其他双方面组合。
• 语义方面选择中使用的不一致性得分阈值有效过滤了低质量的语义方面集合，因为所选集合在性能上显著优于所有不一致性得分更高的其他组合。
• 随着嵌入维度和采样边数的增加，模型性能持续提升，在约 100 维和 10 亿条采样边时趋于稳定，与先前研究结果一致。
• 该框架具有灵活性，可通过按语义方面独立应用现有嵌入方法，实现与现有方法的集成。
• 结果证实，基于语义方面的分解有效缓解了语义不兼容性，使复杂、多方面的节点关系能够得到更准确的表示。