[论文解读] Discriminating abilities of threshold-free evaluation metrics in link prediction

Tao Zhou|arXiv (Cornell University)|May 10, 2022

Bioinformatics and Genomic Networks被引用 4

一句话总结

本文提出一个框架，通过可调谐的模拟模型（可控噪声与可预测性）评估无阈值度量在链接预测中的区分能力。结果表明，AUC与AUPR显著优于平衡精确率（BP），且AUC的区分能力略高于AUPR，提示应同时使用AUC与AUPR，而单独使用BP可能导致误导性评估。

ABSTRACT

Link prediction is a paradigmatic and challenging problem in network science, which attempts to uncover missing links or predict future links, based on known topology. A fundamental but still unsolved issue is how to choose proper metrics to fairly evaluate prediction algorithms. The area under the receiver operating characteristic curve (AUC) and the balanced precision (BP) are the two most popular metrics in early studies, while their effectiveness is recently under debate. At the same time, the area under the precision-recall curve (AUPR) becomes increasingly popular, especially in biological studies. Based on a toy model with tunable noise and predictability, we propose a method to measure the discriminating abilities of any given metric. We apply this method to the above three threshold-free metrics, showing that AUC and AUPR are remarkably more discriminating than BP, and AUC is slightly more discriminating than AUPR. The result suggests that it is better to simultaneously use AUC and AUPR in evaluating link prediction algorithms, at the same time, it warns us that the evaluation based only on BP may be unauthentic. This article provides a starting point towards a comprehensive picture about effectiveness of evaluation metrics for link prediction and other classification problems.

研究动机与目标

• 为解决链接预测算法评估指标选择这一未解决的挑战。
• 在受控条件下评估广泛使用的无阈值度量（AUC、AUPR与BP）的区分能力。
• 开发一种系统化方法，衡量度量在区分真实链接与虚假链接方面的有效性。
• 提供实证指导，以确保链接预测性能评估的公平性与可靠性。

提出的方法

• 构建一个可调谐的模拟模型，以模拟具有可控噪声与可预测性的网络。
• 该模型生成已知真实链接的合成链接预测任务，实现受控评估。
• 通过测量度量对可预测性与噪声变化的敏感性，量化每种度量的区分能力。
• 在多个参数设置下评估度量，以检验其一致性和区分能力。
• 通过统计分析比较AUC、AUPR与BP在模型参数空间中的方差与敏感性。
• 该框架可直接比较不同度量在区分高质量与低质量预测结果方面的表现。

实验结果

研究问题

• RQ1 AUC、AUPR与BP在区分高质量与低质量链接预测结果方面的能力如何比较？
• RQ2 这些度量的区分能力是否随网络结构中的噪声水平与可预测性而变化？
• RQ3 平衡精确率（BP）是否是评估链接预测性能的可靠度量，还是其无法区分有意义的性能差异？
• RQ4 在对网络可预测性变化的敏感性方面，AUC与AUPR的表现如何比较？
• RQ5 能否开发一种系统化方法，用于评估任意无阈值评估度量的区分能力？

主要发现

• AUC在三种度量中表现出最高的区分能力，优于AUPR与BP。
• AUPR的区分能力显著强于BP，表明BP对有意义的性能差异不敏感。
• BP表现出较差的区分能力，提示仅依赖BP的评估可能不真实或具有误导性。
• 所提出的框架成功量化并比较了度量对网络可预测性与噪声变化的敏感性。
• 建议在评估中同时使用AUC与AUPR，因其相比单独使用BP能提供更稳健、更可靠的性能评估。