[论文解读] Benchmarks for Graph Embedding Evaluation

Palash Goyal, Di Huang+4 more|arXiv (Cornell University)|Aug 19, 2019

Advanced Graph Neural Networks参考文献 44被引用 11

一句话总结

本文提出了一套全面的基准测试框架，用于在100种多样化的真实世界网络和合成图上评估图嵌入方法，采用统一的评估协议，使用MAP和Precision@100等指标。该研究识别了不同结构属性下方法的性能表现，提出了GFS-score用于方法排序，并提供了开源的Python库（GEM-Benchmark），以指导针对特定数据类型的模型选择。

ABSTRACT

Graph embedding is the task of representing nodes of a graph in a low-dimensional space and its applications for graph tasks have gained significant traction in academia and industry. The primary difference among the many recently proposed graph embedding methods is the way they preserve the inherent properties of the graphs. However, in practice, comparing these methods is very challenging. The majority of methods report performance boosts on few selected real graphs. Therefore, it is difficult to generalize these performance improvements to other types of graphs. Given a graph, it is currently impossible to quantify the advantages of one approach over another. In this work, we introduce a principled framework to compare graph embedding methods. Our goal is threefold: (i) provide a unifying framework for comparing the performance of various graph embedding methods, (ii) establish a benchmark with real-world graphs that exhibit different structural properties, and (iii) provide users with a tool to identify the best graph embedding method for their data. This paper evaluates 4 of the most influential graph embedding methods and 4 traditional link prediction methods against a corpus of 100 real-world networks with varying properties. We organize the 100 networks in terms of their properties to get a better understanding of the embedding performance of these popular methods. We use the comparisons on our 100 benchmark graphs to define GFS-score, that can be applied to any embedding method to quantify its performance. We rank the state-of-the-art embedding approaches using the GFS-score and show that it can be used to understand and evaluate novel embedding approaches. We envision that the proposed framework (https://www.github.com/palash1992/GEM-Benchmark) will serve the community as a benchmarking platform to test and compare the performance of future graph embedding techniques.

研究动机与目标

• 为解决在多样化图类型上图嵌入方法缺乏标准化、可复现的评估问题。
• 建立一个包含100个真实世界和合成图的基准，涵盖社交、生物、技术及经济领域的多样化结构属性。
• 开发统一的评估框架，使用一致的指标（如MAP、Precision@100），以公平比较最先进嵌入方法和启发式方法。
• 提供一个自动化、开源的Python库（GEM-Benchmark），根据图的特征推荐最佳嵌入方法。
• 识别在不同图属性（如大小、平均度数、嵌入维度）下表现最佳的嵌入方法。

提出的方法

• 基准测试使用来自CommunityFitNet语料库和SNAP的100个真实世界网络，依据ICON分类法划分为四个领域。
• 通过随机块模型、Barabasi-Albert模型和R-mat模型生成合成图，以控制社区结构和幂律度分布等结构属性。
• 采用标准的链接预测指标评估性能：缺失链接预测任务中的平均平均精度（MAP）和Precision@100。
• 提出一种新颖的GFS-score，用于在所有图上定量排名嵌入方法，综合考虑不同领域和图类型的性能表现。
• 在不同图大小（1024–8192个节点）、平均节点度数和嵌入维度下进行评估，以分析方法的敏感性。
• 发布一个开源的Python库（GEM-Benchmark），用于根据输入图的特征自动选择最佳方法。

实验结果

研究问题

• RQ1 在具有不同结构属性的多样化真实世界和合成图类型中，哪些图嵌入方法表现最佳？
• RQ2 在不同领域中，图嵌入方法与传统启发式方法（如共同邻居、Adamic-Adar）在链接预测中的表现如何比较？
• RQ3 嵌入方法对图大小、平均节点度数和嵌入维度的敏感性如何？
• RQ4 图的哪些结构属性会导致特定嵌入技术表现更好或更差？
• RQ5 统一的基准测试和评分系统（GFS-score）能否可靠地对给定图的最优嵌入方法进行排名和推荐？

主要发现

• 启发式方法如Adamic-Adar和Jaccard系数在互联网图和合成图中表现最佳，尤其在Precision@100上，因其与幂律和小世界特性高度契合。
• HOPE和Laplacian Eigenmaps始终位列前茅，尤其在大型和密集图中，其Precision@100表现尤为突出。
• 图分解（Graph Factorization）在合成互联网图中表现良好，而SDNE在简单、结构化的合成图中表现较差，原因在于过拟合。
• MAP性能通常随图大小增加而下降，但Precision@100因节点密度提高而提升，提供了更多局部信息。
• 更高的嵌入维度始终能提升MAP和Precision@100得分，且在较小、噪声较少的图中优势最为显著。
• GFS-score能有效对最先进方法进行排名，HOPE和node2vec在多样化图类型中均表现最优。