[论文解读] Identifying And Improving Dataset References In Social Sciences Full Texts

Behnam Ghavimi, Philipp Mayr+2 more|arXiv (Cornell University)|Jan 11, 2016

Advanced Text Analysis Techniques参考文献 9被引用 6

一句话总结

本文提出一种半自动方法，用于识别社会科学全文论文中引用的数据集，并通过自然语言处理技术将这些引用与 da|ra 注册表中的条目关联起来。该方法在引用检测上的 F-measure 达到 0.854，在正确匹配上的 F-measure 达到 0.679，无需依赖预训练语料库即可克服学术出版物中缺乏显式数据集链接的问题。

ABSTRACT

Scientific full text papers are usually stored in separate places than their underlying research datasets.<br> Authors typically make references to datasets by mentioning them for example by using their titles and the year of publication. <br> However, in most cases explicit links that would provide readers with direct access to referenced datasets are missing.<br> Manually detecting references to datasets in papers is time consuming and requires an expert in the domain of the paper.<br> In order to make explicit all links to datasets in papers that have been published already, we suggest and evaluate a semi-automatic approach for finding references to datasets in social sciences papers.<br> Our approach doesn't need a corpus of papers (no cold start problem) and it performs well on a small test corpus (gold standard). Our approach achieved an F-measure of 0.854 for identifying references in full texts and an F-measure of 0.679 for finding correct matches of detected references in the da|ra dataset registry.

研究动机与目标

• 解决社会科学研究报告中缺乏显式数据集链接的问题，以促进数据重用与可重现性。
• 克服人工检测方法耗时且需领域专业知识的局限性。
• 开发一种无需预训练论文语料库（无冷启动问题）的方法，以识别全文中的数据集引用。
• 通过自动将引用链接至数据集注册表，提升研究数据的可发现性与可及性。
• 在检测数据集引用及将其匹配至 da|ra 数据集注册表中正确条目时，实现高精确率与高召回率。

提出的方法

• 利用自然语言处理技术，基于语言模式与元数据线索，在社会科学全文论文中检测数据集提及。
• 通过分析标题、年份及常用于引用数据集的上下文短语等文本线索，提取数据集引用。
• 使用字符串相似度与元数据对齐技术，将检测到的引用与 da|ra 数据集注册表条目进行匹配。
• 利用小型黄金标准测试语料库进行性能评估，无需依赖大规模预训练语料库。
• 采用结合基于规则的检测与模糊匹配的半自动处理流程，以提升准确率与可扩展性。
• 以 F-measure 作为评估指标，优化匹配过程，以在检测与匹配两个阶段实现精确率与召回率的平衡。

实验结果

研究问题

• RQ1 是否能够通过一种半自动方法，在不依赖大规模预训练语料库的前提下，以高精确率与高召回率检测社会科学全文论文中的数据集引用？
• RQ2 与人工标注相比，该方法在识别全文论文中数据集提及方面的有效性如何？
• RQ3 检测到的数据集引用在多大程度上能被正确匹配至 da|ra 数据集注册表条目？
• RQ4 该方法在引用检测与注册表匹配两个方面的 F-measure 表现如何？
• RQ5 该方法是否克服了 NLP 方法在学术数据链接中通常面临的冷启动问题？

主要发现

• 该方法在检测社会科学全文论文中数据集引用的 F-measure 达到 0.854，表明其在识别相关提及方面表现强劲。
• 将检测到的引用与 da|ra 数据集注册表中正确条目匹配的 F-measure 为 0.679，表明尽管存在名称变化与歧义性挑战，仍能实现有效的链接。
• 该方法无需大规模训练论文语料库，解决了 NLP 驱动链接系统中常见的冷启动问题。
• 该方法在小型黄金标准测试语料库上表现良好，表明即使初始数据有限，也具备良好的可扩展性与可靠性。
• 结果表明，自动链接数据集引用可显著提升社会科学研究中的数据可发现性与可重现性。
• 语言模式检测与模糊匹配的结合，使得在学术文本中准确识别与链接数据集引用成为可能。