[论文解读] Heterogeneous Network Representation Learning: A Unified Framework with Survey and Benchmark

Carl Yang, Yuxin Xiao+3 more|arXiv (Cornell University)|Apr 1, 2020

Advanced Graph Neural Networks参考文献 166被引用 29

一句话总结

本文提出了一种统一的异质网络表示学习（HNE）框架，系统性地分类了现有的HNE算法，引入了四个多样化的基准数据集以实现公平评估，并提供了13种流行HNE方法的重构与用户友好的实现。主要贡献在于提供了一个标准化平台，通过开源数据与代码实现HNE算法的直接比较与加速开发。

ABSTRACT

Since real-world objects and their interactions are often multi-modal and multi-typed, heterogeneous networks have been widely used as a more powerful, realistic, and generic superclass of traditional homogeneous networks (graphs). Meanwhile, representation learning (\aka~embedding) has recently been intensively studied and shown effective for various network mining and analytical tasks. In this work, we aim to provide a unified framework to deeply summarize and evaluate existing research on heterogeneous network embedding (HNE), which includes but goes beyond a normal survey. Since there has already been a broad body of HNE algorithms, as the first contribution of this work, we provide a generic paradigm for the systematic categorization and analysis over the merits of various existing HNE algorithms. Moreover, existing HNE algorithms, though mostly claimed generic, are often evaluated on different datasets. Understandable due to the application favor of HNE, such indirect comparisons largely hinder the proper attribution of improved task performance towards effective data preprocessing and novel technical design, especially considering the various ways possible to construct a heterogeneous network from real-world application data. Therefore, as the second contribution, we create four benchmark datasets with various properties regarding scale, structure, attribute/label availability, and \etc.~from different sources, towards handy and fair evaluations of HNE algorithms. As the third contribution, we carefully refactor and amend the implementations and create friendly interfaces for 13 popular HNE algorithms, and provide all-around comparisons among them over multiple tasks and experimental settings.

研究动机与目标

• 为解决异质网络嵌入（HNE）研究中缺乏系统性分类与公平评估的问题。
• 克服因HNE算法间评估数据集不一致而导致的间接比较挑战。
• 提供一个标准化的开源基准平台，用于评估与比较现有及未来的HNE算法。
• 通过在统一框架下整合多样化方法，加深对HNE算法设计的理解。
• 通过提供即用型数据集与实现代码，支持未来研究实现可复现的实验。

提出的方法

• 基于算法的设计原则与技术组件，提出一种通用范式，以系统性地分类HNE算法。
• 从真实世界来源构建四个具有多样化特性的基准数据集——规模、结构、属性/标签可用性各异，以确保公平且一致的评估。
• 将13种主流HNE算法的实现进行重构与统一，整合为一个统一且用户友好的接口，以支持一致的实验。
• 在多种下游任务（如节点分类、聚类、链接预测）及不同设置下评估算法性能。
• 在单一评估框架中整合基于元路径、基于随机游走以及基于深度学习的HNE方法。
• 采用标准化的预处理与评估协议，以隔离算法创新的影响，避免受数据构建差异的干扰。

实验结果

研究问题

• RQ1 如何基于其底层设计与技术机制，系统性地对现有HNE算法进行分类？
• RQ2 在相同实验条件与数据集下，HNE算法之间的性能差异如何？
• RQ3 数据构建选择（如元路径选择、网络构建）如何影响HNE算法的性能？
• RQ4 哪些HNE方法在不同网络结构与下游任务中泛化能力最佳？
• RQ5 HNE算法在可扩展性、准确性与鲁棒性之间的关键设计权衡是什么？

主要发现

• 基准数据集揭示了HNE算法之间显著的性能差异，性能高度依赖于网络结构与任务类型。
• 基于元路径的方法（如GENE与HIN2Vec）在结构化、语义丰富的网络中表现优异，尤其在节点分类任务中。
• 基于随机游走的方法（如DeepWalk与node2vec）在多种网络类型中表现出强鲁棒性，但对超参数调优较为敏感。
• 基于图神经网络的方法（如HetGNN与RGCN）在链接预测与聚类任务中达到最先进性能，尤其在存在节点属性时表现更优。
• 统一的评估框架揭示，许多HNE算法声称的性能提升实际上受到不一致的数据预处理与数据集选择的混淆。
• 开源的代码与数据集支持可复现的比较，并为未来HNE研究奠定了基础。