[论文解读] Interpretable and Fair Comparison of Link Prediction or Entity Alignment Methods with Adjusted Mean Rank

Max Berrendorf, Evgeniy Faerman+2 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出了一种调整后的平均排名（AMR），以实现在不同数据集和训练/测试划分之间对链接预测与实体对齐方法的公平、可解释且可比较的评估。通过校正数据集特定的排名偏差，AMR 消除了误导性比较，并为模型性能评估提供统一指标。

ABSTRACT

In this work, we take a closer look at the evaluation of two families of methods for enriching information from knowledge graphs: Link Prediction and Entity Alignment. In the current experimental setting, multiple different scores are employed to assess different aspects of model performance. We analyze the informative value of these evaluation measures and identify several shortcomings. In particular, we demonstrate that all existing scores can hardly be used to compare results across different datasets. Moreover, this problem may also arise when comparing different train/test splits for the same dataset. We show that this leads to various problems in the interpretation of results, which may support misleading conclusions. Therefore, we propose a different evaluation and demonstrate empirically how this helps for fair, comparable and interpretable assessment of model performance.

研究动机与目标

• 解决现有链接预测与实体对齐评估指标在可解释性和公平性方面的不足。
• 指出由于固有偏差的存在，当前的评分在不同数据集或训练/测试划分之间不可比较。
• 提出一种标准化的评估框架，实现在多样化实验设置下可靠的模型比较。
• 通过消除由有偏评估分数引起的误导性解释，提高研究结论的可靠性。

提出的方法

• 引入调整后的平均排名（AMR）作为归一化评估指标，以校正数据集特定的排名偏差。
• 使用每个数据集上基线模型的均值和标准差，对原始平均排名分数应用 z 分数标准化技术。
• 确保模型性能相对于各数据集间一致的基线进行评估，从而实现跨数据集比较。
• 证明 AMR 在保持对模型改进的敏感性的同时，消除了因数据集尺度差异引起的失真。
• 在多个链接预测与实体对齐的基准数据集上验证该方法，显示一致的性能排序结果。
• 通过实证分析将 AMR 与标准指标（如倒数平均秩 MRR 和平均秩 MR）进行比较，突出 AMR 的优势。

实验结果

研究问题

• RQ1 现有评估指标在链接预测与实体对齐任务中，对不同数据集之间的公平比较支持程度如何？
• RQ2 数据集规模和结构的变化在多大程度上影响标准排名指标（如 MRR 和 MR）的可靠性？
• RQ3 能否设计一种归一化评估指标，以确保在多样化数据集和划分之间实现一致且可解释的模型比较？
• RQ4 与标准指标相比，所提出的调整后平均排名（AMR）在模型性能评估的可解释性和公平性方面有何改进？

主要发现

• 由于固有尺度差异，标准评估指标（如平均秩和 MRR）在不同数据集之间不可比较。
• 同一模型可能因数据集特定的排名偏差而在一个数据集中表现更优，而非实际性能差异所致。
• 所提出的调整后平均排名（AMR）成功地对不同数据集的性能分数进行了归一化，实现了公平且可解释的比较。
• AMR 通过消除数据集依赖的性能失真，降低了误导性结论的风险。
• 实证结果表明，AMR 在保持对模型改进的敏感性的同时，实现了在多样化实验设置下的稳定性能排序。
• AMR 的使用使模型评估更加可靠和透明，尤其在跨数据集基准测试场景中优势显著。