[论文解读] Heterogeneous Network Representation Learning: Survey, Benchmark, Evaluation, and Beyond

Carl Yang, Yuxin Xiao+3 more|arXiv (Cornell University)|Apr 1, 2020

Advanced Graph Neural Networks参考文献 93被引用 41

一句话总结

本文通过引入HNE算法的系统性分类、构建四个多样化的基准数据集，并提供11种流行HNE算法的重构实现，提出了一套统一的异质网络表示学习（HNE）框架。主要贡献包括标准化的评估协议、更高的可复现性，以及在多种任务和设置下的全面比较，从而能够更可靠地将性能差异归因于算法设计本身，而非数据预处理。

ABSTRACT

Since real-world objects and their interactions are often multi-modal and multi-typed, heterogeneous networks have been widely used as a more powerful, realistic, and generic superclass of traditional homogeneous networks (graphs). Meanwhile, representation learning (a.k.a. embedding) has recently been intensively studied and shown effective for various network mining and analytical tasks. In this work, we aim to provide a unified framework to deeply summarize and evaluate existing research on heterogeneous network embedding (HNE), which includes but goes beyond a normal survey. Since there has already been a broad body of HNE algorithms, as the first contribution of this work, we provide a generic paradigm for the systematic categorization and analysis over the merits of various existing HNE algorithms. Moreover, existing HNE algorithms, though mostly claimed generic, are often evaluated on different datasets. Understandable due to the application favor of HNE, such indirect comparisons largely hinder the proper attribution of improved task performance towards effective data preprocessing and novel technical design, especially considering the various ways possible to construct a heterogeneous network from real-world application data. Therefore, as the second contribution, we create four benchmark datasets with various properties regarding scale, structure, attribute/label availability, and etc. from different sources, towards handy and fair evaluations of HNE algorithms. As the third contribution, we carefully refactor and amend the implementations and create friendly interfaces for eleven popular HNE algorithms, and provide all-around comparisons among them over multiple tasks and experimental settings.

研究动机与目标

• 解决现有异质网络嵌入（HNE）研究中缺乏系统性分类与公平评估的问题。
• 克服由于HNE算法间数据集和评估协议不一致而导致的间接比较难题。
• 通过区分算法设计创新与数据预处理或数据集选择带来的改进，实现可靠的性能归因。
• 通过精心筛选的数据集和重构实现，提供标准化、可复现的HNE算法基准测试环境。
• 支持在多样化实验设置下进行全面的多任务比较，以指导未来HNE研究。

提出的方法

• 基于算法的架构与设计原则，提出一种通用范式，对HNE算法进行系统性分类。
• 从多样化的真实世界来源构建四个基准异质网络数据集，涵盖不同规模、结构特性以及属性/标签可用性。
• 对11种广泛使用的HNE算法进行重构与标准化，提供一致且用户友好的接口，以实现公平比较。
• 采用多种下游任务（如节点分类、链接预测和聚类）在不同设置下评估HNE算法。
• 应用标准化的预处理与评估协议，确保性能差异可归因于算法创新，而非数据或实现差异。
• 提出一个全面的评估框架，支持在不同数据集与任务上对算法组件进行系统性消融与分析。

实验结果

研究问题

• RQ1 在多个数据集与任务上，采用标准化、公平条件评估时，现有HNE算法的性能表现如何比较？
• RQ2 在不同网络结构与数据特性下，哪些关键设计因素能持续提升HNE性能？
• RQ3 数据预处理与网络构建方式的差异在多大程度上影响了HNE算法的报告性能？
• RQ4 所提出的基准数据集如何揭示现有HNE算法的局限性或偏差？
• RQ5 哪些算法组件（如注意力机制、元路径使用、消息传递）在不同网络类型与任务中能持续提升性能？

主要发现

• 所提出的基准数据集揭示了算法间显著的性能差异，部分算法在多种网络结构与任务中表现出持续优势。
• 标准化评估表明，以往研究中的性能提升往往归因于特定数据集的预处理，而非新颖的算法设计。
• 重构实现与一致的评估协议使可靠的消融研究成为可能，结果表明基于元路径的方法在结构化异质网络上普遍优于基于路径的替代方案。
• 采用注意力机制或自适应聚合策略的算法在不同数据规模和属性可用性水平下表现出更强的鲁棒性。
• 该基准框架有助于识别算法弱点，如在小规模或稀疏网络上的过拟合现象，这些现象此前因评估协议不一致而被掩盖。
• 全面比较显示，没有单一HNE算法在所有任务与数据集上均占优，凸显了需根据网络与任务特性选择合适方法的必要性。