[论文解读] Efficient Knowledge Graph Accuracy Evaluation

Junyang Gao, Xian Li+4 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Graph Neural Networks参考文献 22被引用 5

一句话总结

该论文提出了一种统计上可靠、成本高效的采样框架，用于通过聚类抽样、加权抽样和分层抽样最小化人工标注工作量，以评估知识图谱（KG）的准确性。该框架在静态KG上实现了高达60%的成本降低，在动态KG上实现了高达80%的成本降低，同时不牺牲评估质量，并通过分层和加权水库抽样扩展支持增量更新。

ABSTRACT

Estimation of the accuracy of a large-scale knowledge graph (KG) often requires humans to annotate samples from the graph. How to obtain statistically meaningful estimates for accuracy evaluation while keeping human annotation costs low is a problem critical to the development cycle of a KG and its practical applications. Surprisingly, this challenging problem has largely been ignored in prior research. To address the problem, this paper proposes an efficient sampling and evaluation framework, which aims to provide quality accuracy evaluation with strong statistical guarantee while minimizing human efforts. Motivated by the properties of the annotation cost function observed in practice, we propose the use of cluster sampling to reduce the overall cost. We further apply weighted and two-stage sampling as well as stratification for better sampling designs. We also extend our framework to enable efficient incremental evaluation on evolving KG, introducing two solutions based on stratified sampling and a weighted variant of reservoir sampling. Extensive experiments on real-world datasets demonstrate the effectiveness and efficiency of our proposed solution. Compared to baseline approaches, our best solutions can provide up to 60% cost reduction on static KG evaluation and up to 80% cost reduction on evolving KG evaluation, without loss of evaluation quality.

研究动机与目标

• 解决大规模知识图谱准确性评估中缺乏高效且统计可靠的评估方法的问题，同时最大限度减少人工标注工作量。
• 通过利用实际成本结构（例如，因共享实体识别而使同一实体的三元组标注成本更低）来降低标注成本。
• 设计一种采样框架，在静态和动态知识图谱中均保持统计有效性的同时最小化人工劳动。
• 在不从头开始重新评估的前提下，实现对动态知识图谱的增量准确性评估，同时保持效率和准确性。
• 提供一种可扩展、稳健的解决方案，其在成本效率和统计可靠性方面优于基线采样方法。

提出的方法

• 基于实体相似性提出聚类抽样，以减少标注成本，因为同一实体的三元组可减少重复识别工作量。
• 应用加权抽样以优先选择高影响力或信息量大的样本，提高估计效率。
• 使用分层抽样确保在不同实体类型或谓词上的代表性抽样，增强统计稳健性。
• 提出两种增量评估解决方案：一种基于分层抽样，另一种基于加权变体的水库抽样，适用于动态知识图谱。
• 采用统计框架，为准确性估计提供置信区间，确保在减少采样量的情况下仍具备可靠性。
• 通过维护历史采样记录并高效适应更新，将框架扩展以支持动态知识图谱。

实验结果

研究问题

• RQ1 如何设计一种采样策略，在最小化人工标注成本的同时保持知识图谱准确性评估的统计可靠性？
• RQ2 在多个三元组指向同一实体时，实体聚类在降低标注成本方面起到什么作用？
• RQ3 如何在不重新运行完整评估的前提下，高效地对动态知识图谱进行增量准确性评估？
• RQ4 在动态知识图谱中，分层、加权或基于水库抽样的采样技术中，哪一种在成本与准确性之间提供了最佳权衡？
• RQ5 我们能否在将标注工作量减少高达80%的同时，仍获得强有力的统计保障（例如置信区间）？

主要发现

• 与基线随机抽样相比，所提出的框架在静态知识图谱上将标注成本降低了高达60%。
• 在动态知识图谱上，该框架实现了高达80%的成本降低，同时保持了高质量的准确性估计。
• 聚类抽样通过在相关三元组间复用实体识别工作显著降低了成本，尤其在密集实体聚类中效果明显。
• 两阶段抽样与分层技术通过确保实体类型和谓词的均衡代表性，提高了估计精度。
• 加权水库抽样变体实现了高效的增量评估，开销低，适用于实时知识图谱更新。
• 该框架为准确性估计提供了统计上有效的置信区间，即使采样量减少，也能确保可靠性。