[论文解读] BenchIE: Open Information Extraction Evaluation Based on Facts, Not Tokens.

Kiril Gashteovski, Mingying Yu+4 more|arXiv (Cornell University)|Sep 14, 2021

Natural Language Processing Techniques参考文献 24被引用 10

一句话总结

BenchIE 引入了一种基于事实的开放信息抽取（OIE）评估框架，通过使用事实同义词集（fact synsets，即语义等价抽取结果的聚类）来克服基于词元的基准存在的局限性。在英语、中文和德语上的评估表明，与以往报告相比，当前最先进的 OIE 系统实际表现显著更低，原因在于现有基准中存在不完整的标准答案。

ABSTRACT

Intrinsic evaluations of OIE systems are carried out either manually -- with human evaluators judging the correctness of extractions -- or automatically, on standardized benchmarks. The latter, while much more cost-effective, is less reliable, primarily because of the incompleteness of the existing OIE benchmarks: the ground truth extractions do not include all acceptable variants of the same fact, leading to unreliable assessment of models' performance. Moreover, the existing OIE benchmarks are available for English only. In this work, we introduce BenchIE: a benchmark and evaluation framework for comprehensive evaluation of OIE systems for English, Chinese and German. In contrast to existing OIE benchmarks, BenchIE takes into account informational equivalence of extractions: our gold standard consists of fact synsets, clusters in which we exhaustively list all surface forms of the same fact. We benchmark several state-of-the-art OIE systems using BenchIE and demonstrate that these systems are significantly less effective than indicated by existing OIE benchmarks. We make BenchIE (data and evaluation code) publicly available.

研究动机与目标

• 为解决现有 OIE 基准不可靠的问题，这些基准存在标准答案不完整和基于词元的评估方式。
• 开发一种全面的评估框架，通过将语义上相同的事实归入事实同义词集，来考虑抽取结果的信息等价性。
• 将 OIE 评估从英语扩展至中文和德语，实现多语言基准测试。
• 提供公开的基准数据集和评估代码，以支持可复现且可靠的 OIE 系统评估。

提出的方法

• 构建一个标准答案，其中每个事实以包含该事实所有可接受表面形式的同义词集来表示。
• 基于语义一致性定义抽取结果之间的信息等价性，确保同一事实的所有变体被归为一组。
• 设计一种评估协议，通过将抽取结果与正确的事实同义词集匹配来衡量系统性能，而非依赖单个词元的匹配。
• 通过在英语、中文和德语文本中整理并对齐事实同义词集，将框架适配用于多语言使用。
• 实现一个评估流程，基于事实同义词集匹配而非词元重叠来计算精确率、召回率和 F1 值。
• 将 BenchIE 作为公开数据集和代码库发布，以支持标准化、可靠的 OIE 评估。

实验结果

研究问题

• RQ1 现有 OIE 基准为何未能捕捉同一事实的全部可接受抽取形式？
• RQ2 当在基于事实的基准上评估时，最先进的 OIE 系统相较于基于词元的基准，其性能下降程度如何？
• RQ3 能否有效构建一个支持跨语言比较的多语言 OIE 评估框架？
• RQ4 在评估中引入信息等价性如何提升 OIE 系统评估的可靠性？
• RQ5 当在全面且以事实为中心的基准上评估时，当前 OIE 模型的真实性能如何？

主要发现

• 最先进的 OIE 系统在 BenchIE 上的表现显著低于以往基准报告的结果，表明先前评估高估了模型的有效性。
• 现有 OIE 基准存在不完整性，遗漏了大量同一事实的有效表面形式，导致性能估计不可靠。
• BenchIE 中的事实同义词集比基于词元的标准答案更广泛、更准确地捕捉了可接受的抽取结果。
• BenchIE 的多语言设计支持在英语、中文和德语之间实现一致的评估，促进跨语言分析。
• 该基准揭示，当前 OIE 系统即使在相同事实以多种方式表达时，仍难以应对句法变化和语义等价性问题。
• BenchIE 基于事实的评估方式相比传统基于词元的指标，能提供更可靠、更有意义的性能比较。