[论文解读] Machine Learning vs. Rules and Out-of-the-Box vs. Retrained: An Evaluation of Open-Source Bibliographic Reference and Citation Parsers

Dominika Tkaczyk, Andrew Collins+2 more|arXiv (Cornell University)|Feb 4, 2018

Natural Language Processing Techniques被引用 6

一句话总结

本文评估了十个开源书目引用和引文解析器，比较了基于机器学习的方法与基于规则的方法，以及开箱即用与微调模型的性能。研究发现，基于机器学习的工具在召回率上显著优于基于规则的工具（0.66 vs. 0.22），其中 GROBID 在开箱即用状态下取得了最高的 F1 分数（0.89），且对所有工具而言，微调均能提升性能，尤其在 CERMINE（+11%）和 ParsCit（+16%）中提升最为显著。

ABSTRACT

Bibliographic reference parsing refers to extracting machine-readable metadata, such as the names of the authors, the title, or journal name, from bibliographic reference strings. Many approaches to this problem have been proposed so far, including regular expressions, knowledge bases and supervised machine learning. Many open source reference parsers based on various algorithms are also available. In this paper, we apply, evaluate and compare ten reference parsing tools in a specific business use case. The tools are Anystyle-Parser, Biblio, CERMINE, Citation, Citation-Parser, GROBID, ParsCit, PDFSSA4MET, Reference Tagger and Science Parse, and we compare them in both their out-of-the-box versions and versions tuned to the project-specific data. According to our evaluation, the best performing out-of-the-box tool is GROBID (F1 0.89), followed by CERMINE (F1 0.83) and ParsCit (F1 0.75). We also found that even though machine learning-based tools and tools based on rules or regular expressions achieve on average similar precision (0.77 for ML-based tools vs. 0.76 for non-ML-based tools), applying machine learning-based tools results in a recall three times higher than in the case of non-ML-based tools (0.66 vs. 0.22). Our study also confirms that tuning the models to the task-specific data results in the increase in the quality. The retrained versions of reference parsers are in all cases better than their out-of-the-box counterparts; for GROBID F1 increased by 3% (0.92 vs. 0.89), for CERMINE by 11% (0.92 vs. 0.83), and for ParsCit by 16% (0.87 vs. 0.75).

研究动机与目标

• 评估并比较十个开源书目引用和引文解析器在真实业务场景中的性能。
• 评估基于机器学习的解析器是否在准确性和鲁棒性方面优于基于规则或正则表达式的解析器。
• 研究使用项目特定数据对解析器进行微调，相较于使用其默认的开箱即用配置，对性能的影响。
• 识别在数字图书馆和学术文本处理中实现高精度、高召回率书目元数据提取的最有效工具和配置。

提出的方法

• 选取了十个开源的引用和引文解析器：Anystyle-Parser、Biblio、CERMINE、Citation、Citation-Parser、GROBID、ParsCit、PDFSSA4MET、Reference Tagger 和 Science Parse。
• 使用项目特定的书目引用字符串数据集，评估每个解析器在开箱即用和微调两种配置下的性能。
• 应用标准的信息检索指标——精确率、召回率和 F1 分数，以比较不同工具和配置的性能。
• 采用一致的评估协议，并使用标注的真值数据，以确保在不同底层架构的工具之间实现公平比较。
• 使用项目特定数据对基于机器学习的工具进行微调，以评估领域自适应带来的性能提升。
• 将工具分类为基于机器学习和基于规则两类，以比较其相对性能特征。

实验结果

研究问题

• RQ1 在真实世界数据集上，基于机器学习的引用解析器与基于规则的解析器在精确率和召回率方面表现如何？
• RQ2 同一解析器在开箱即用与微调配置下的性能差异是什么？
• RQ3 在开箱即用和微调配置下，哪个解析器的 F1 分数最高？
• RQ4 针对特定领域的微调在多大程度上提升了引用和引文解析器的性能？
• RQ5 基于机器学习的解析器是否始终优于基于规则的解析器？如果是，体现在哪些指标上？

主要发现

• 在开箱即用的解析器中，GROBID 的 F1 分数最高，达到 0.89，其次为 CERMINE（0.83）和 ParsCit（0.75）。
• 尽管精确率相近（0.77 vs. 0.76），基于机器学习的工具召回率显著更高（0.66 vs. 0.22）。
• 微调提升了所有解析器的性能，其中相对提升最大的是 ParsCit（F1 提升 +16%），其次是 CERMINE（+11%）和 GROBID（+3%）。
• 微调后的 GROBID F1 分数达到 0.92，超过其开箱即用的 0.89。
• CERMINE 的 F1 分数从 0.83 提升至 0.92，表明其对领域特定数据具有很强的适应能力。
• ParsCit 的 F1 分数从 0.75 提升至 0.87，表明即使是中等性能的工具，通过微调也能显著受益。