[论文解读] Limitations and Alternatives for the Evaluation of Large-scale Link Prediction

Dario García-Gasulla, Ayguadé Eduard+2 more|arXiv (Cornell University)|Nov 2, 2016

Advanced Graph Neural Networks参考文献 33被引用 5

一句话总结

本文提出了一种受限AUPR（CAUPR）度量方法，以解决大规模链接预测中的类别不平衡问题，其中由于非边数量庞大，误报占主导地位。通过基于图大小设定保守的误报阈值，CAUPR相较于标准AUPR提供了更真实且可解释的性能度量，尤其适用于无标度的大图，并在真实世界数据集（如包含1700万顶点的DBpedia）上实证优于AUPR，能更准确识别表现最佳的算法。

ABSTRACT

Link prediction, the problem of identifying missing links among a set of inter-related data entities, is a popular field of research due to its application to graph-like domains. Producing consistent evaluations of the performance of the many link prediction algorithms being proposed can be challenging due to variable graph properties, such as size and density. In this paper we first discuss traditional data mining solutions which are applicable to link prediction evaluation, arguing about their capacity for producing faithful and useful evaluations. We also introduce an innovative modification to a traditional evaluation methodology with the goal of adapting it to the problem of evaluating link prediction algorithms when applied to large graphs, by tackling the problem of class imbalance. We empirically evaluate the proposed methodology and, building on these findings, make a case for its importance on the evaluation of large-scale graph processing.

研究动机与目标

• 解决在传统度量方法失效的大规模、高度不平衡图中评估链接预测算法的挑战。
• 识别标准评估实践（如10折交叉验证和完整ROC/AUC）在大图中存在局限性。
• 提出一种领域无关、基于图大小的性能度量方法，反映对误报的实际容忍度。
• 通过实证证明，标准AUPR在大规模链接预测中可能具有误导性，原因在于误报率未受控制。
• 提供一种可扩展、计算高效的评估框架，适用于现代大规模图挖掘应用。

提出的方法

• 提出CAUPR，即精确率-召回率曲线下方面积（AUPR）的受限版本，其中误报数的上限被设定为图中边的总数。
• 基于图大小定义可接受误报的保守阈值，确保度量反映实际可行性。
• 通过将传统的10折交叉验证替换为单次、稳定的10%随机划分，改进传统评估方法，将计算成本降低约10倍。
• 使用精确率-召回率曲线作为主要评估工具，认为其在类别不平衡场景下比ROC曲线更具信息量。
• 将CAUPR度量应用于多个真实世界图中的三种链接预测算法，包括DBpedia（1700万顶点），在现实约束下比较性能。
• 在不同规模的图（10万至1700万顶点）上验证所提方法的鲁棒性，显示其行为一致且具备可扩展性。

实验结果

研究问题

• RQ1 大规模图中极端类别不平衡如何影响标准评估度量（如AUPR和AUC）的可靠性？
• RQ2 在大图中，10折交叉验证在多大程度上仍为必要或有益？能否被更简单、更高效的划分策略所替代？
• RQ3 受限AUPR度量（CAUPR）是否能在大规模链接预测中提供比标准AUPR更真实、更可解释的性能度量？
• RQ4 在大规模真实世界图中，不同链接预测算法在CAUPR与AUPR评估下的排名如何？
• RQ5 所提出的评估方法是否在实践中提升了对真正有效的链接预测算法的检测能力？

主要发现

• 通过将误报数限制为图中边的总数，CAUPR相较于标准AUPR提供了更真实的性能评估。
• 通过将10折交叉验证替换为单次10%随机划分，所提评估方法将计算成本降低十倍，且在顶点数超过10万的图上已足够实现稳定评估。
• 在DBpedia图（1700万顶点）上，AUPR与CAUPR对三种测试链接预测算法的排名不同，表明标准AUPR在大规模场景下可能具有误导性。
• CAUPR能适应图的大小和密度，在高度不平衡的图中仍具意义，而标准AUPR可能被少数高召回率、低精确率的预测所主导。
• 若性能较差，CAUPR度量可为零；若性能优异，则等于AUPR，从而自然地提供反映实际可行性的上下界。
• 实证结果表明，AUPR与CAUPR之间的方差随图规模增大而增加，凸显了在未来的大型图挖掘中采用受限评估的重要性。