[论文解读] EvalNE: A Framework for Evaluating Network Embeddings on Link Prediction

Alexandru Mara, Jefrey Lijffijt+1 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Graph Neural Networks参考文献 6被引用 5

一句话总结

EvalNE 是一个 Python 工具箱，可自动且标准化地评估网络嵌入方法在链接预测任务中的表现。它简化了超参数调优、边采样、边嵌入计算和指标评估等流程，无需自定义代码即可在有向和无向网络中对节点嵌入和边嵌入方法实现可复现、可比较的结果。

ABSTRACT

In this paper we present EvalNE, a Python toolbox for evaluating network embedding methods on link prediction tasks. Link prediction is one of the most popular choices for evaluating the quality of network embeddings. However, the complexity of this task requires a carefully designed evaluation pipeline in order to provide consistent, reproducible and comparable results. EvalNE simplifies this process by providing automation and abstraction of tasks such as hyper-parameter tuning and model validation, edge sampling and negative edge sampling, computation of edge embeddings from node embeddings, and evaluation metrics. The toolbox allows for the evaluation of any off-the-shelf embedding method without the need to write extra code. Moreover, it can also be used for evaluating any other link prediction method, and integrates several link prediction heuristics as baselines.

研究动机与目标

• 解决在链接预测任务中网络嵌入方法评估缺乏可复现性和一致性的问题。
• 降低搭建链接预测评估流程的复杂度和出错风险。
• 通过自动化关键步骤（如训练/测试集划分、负采样和评估指标）实现公平且可比较的网络嵌入方法基准测试。
• 支持节点嵌入方法和通用链接预测启发式算法，包括有向网络。
• 提供即插即用的解决方案，无需修改代码即可评估现有嵌入方法。

提出的方法

• EvalNE 采用模块化流水线架构，支持预处理、数据划分、边嵌入、二分类和评估等组件的可互换。
• 支持开放世界和封闭世界假设下的负边采样，用户可自定义集合大小。
• 边嵌入通过可配置的运算符从节点嵌入计算得出：平均、哈达玛积、加权 L1 和加权 L2。
• 默认使用正则化逻辑回归（L2 惩罚）进行二分类，并通过 10 折交叉验证进行超参数调优。
• 该框架支持与 scikit-learn 分类器集成，并提供固定阈值指标（如 AUC-ROC、F1 分数）和阈值曲线（ROC 和精确率-召回率曲线）。
• 内置了常见链接预测启发式算法的实现（如 Adamic-Adar、资源分配、优先连接），适用于有向和无向网络。

实验结果

研究问题

• RQ1 如何使网络嵌入方法在链接预测任务中的评估流程更加可复现且不易出错？
• RQ2 不同的边嵌入策略对网络嵌入方法在链接预测中的性能有何影响？
• RQ3 不同的负采样策略（开放世界 vs. 封闭世界）如何影响链接预测评估的可靠性？
• RQ4 能否构建一个统一的评估框架，支持节点嵌入方法和传统链接预测启发式算法，且无需代码修改？
• RQ5 如何在不同网络嵌入方法之间标准化评估指标和超参数调优？

主要发现

• EvalNE 可在无需自定义代码的情况下评估任何现成的网络嵌入方法，显著降低实现开销。
• 该库的边采样算法比朴素方法快几个数量级，提升了大规模网络的可扩展性。
• EvalNE 提供自动化的超参数调优和模型验证，降低了因配置不一致导致的偏差比较风险。
• 它支持有向和无向网络，包括有向图中对入邻居和出邻居的专用启发式算法。
• 该框架包含预填充的配置文件，可复现具有影响力的论文中的实验结果，增强了可复现性。
• EvalNE 是目前唯一完全自动化评估流程（包括数据划分、负采样和指标计算）的开源库，适用于节点嵌入和边嵌入方法。