[论文解读] A large dataset of software mentions in the biomedical literature

Ana-Maria Istrate, Donghui Li+4 more|arXiv (Cornell University)|Sep 1, 2022

Scientific Computing and Data Management被引用 7

一句话总结

本文介绍了CZ软件提及数据集，该数据集是从240万篇生物医学论文中提取的112万条独特软件提及的大型数据集，采用微调后的SciBERT命名实体识别（NER）模型进行提取。作者采用基于DBSCAN的聚类方法，将提及内容消歧为97,600个独立的软件实体，并将其中18.5万条链接至代码仓库，分别覆盖了78%和55%的软件-论文关联，从而支持科学软件的影响分析。

ABSTRACT

We describe the CZ Software Mentions dataset, a new dataset of software mentions in biomedical papers. Plain-text software mentions are extracted with a trained SciBERT model from several sources: the NIH PubMed Central collection and from papers provided by various publishers to the Chan Zuckerberg Initiative. The dataset provides sources, context and metadata, and, for a number of mentions, the disambiguated software entities and links. We extract 1.12 million unique string software mentions from 2.4 million papers in the NIH PMC-OA Commercial subset, 481k unique mentions from the NIH PMC-OA Non-Commercial subset (both gathered in October 2021) and 934k unique mentions from 3 million papers in the Publishers' collection. There is variation in how software is mentioned in papers and extracted by the NER algorithm. We propose a clustering-based disambiguation algorithm to map plain-text software mentions into distinct software entities and apply it on the NIH PubMed Central Commercial collection. Through this methodology, we disambiguate 1.12 million unique strings extracted by the NER model into 97600 unique software entities, covering 78% of all software-paper links. We link 185000 of the mentions to a repository, covering about 55% of all software-paper links. We describe in detail the process of building the datasets, disambiguating and linking the software mentions, as well as opportunities and challenges that come with a dataset of this size. We make all data and code publicly available as a new resource to help assess the impact of software (in particular scientific open source projects) on science.

研究动机与目标

• 为解决生物医学文献中科学软件常被低估和未被充分引用的问题。
• 创建一个大规模、公开可用的软件提及数据集，以支持科学软件的影响评估。
• 开发并应用一个消歧管道，将各种软件名称字符串映射为独立的软件实体。
• 将软件提及链接至外部代码仓库（如GitHub、PyPI），以提高可追溯性和可复现性。
• 支持关于软件使用趋势、子领域中的采用情况以及科学领域影响指标的新研究。

提出的方法

• 使用微调后的SciBERT模型从生物医学论文全文中提取软件提及，实现命名实体识别（NER）。
• 应用多步骤消歧管道，结合基于关键词的同义词生成、SciCrunch API查询以及字符串相似度度量（如Jaccard、Levenshtein）。
• 在相似度矩阵上使用DBSCAN聚类，将语义相似的软件提及聚类为独立的软件实体。
• 通过在PyPI、CRAN、Bioconductor、SciCrunch和GitHub API上进行精确匹配搜索，将提及链接至外部代码仓库。
• 由专业生物信息学家使用标准化指南进行数据集整理，通过标注者间一致性度量进行验证。
• 对元数据进行标准化，并以一致的模式结构化最终数据集，以便公开发布。

实验结果

研究问题

• RQ1 生物医学文献中软件提及的模式在多大程度上存在差异？
• RQ2 字符串相似度与聚类技术在将软件提及消歧为独立软件实体方面效果如何？
• RQ3 在多大程度上可以将软件提及链接至GitHub或PyPI等权威代码仓库？
• RQ4 在生物医学子领域（如单细胞生物学或成像）中，软件采用趋势如何？
• RQ5 该数据集能否支持开发新的科学软件影响指标，例如软件专用的Eigenfactor？

主要发现

• 该数据集包含来自NIH PMC-OA商业子集的240万篇论文中的112万条独特软件提及，非商业子集中有48.1万条，出版商提供的数据集中有93.4万条。
• 通过DBSCAN聚类，112万条提及被消歧为97,600个独立的软件实体，覆盖了所有软件-论文关联的78%。
• 18.5万条提及成功链接至外部代码仓库，覆盖了所有软件-论文关联的约55%。
• 消歧管道表现出高精确度，专家评估显示在人工标注样本上具有较强的标注者间一致性。
• 该数据集支持新应用场景，例如追踪单细胞方法和成像软件在生物医学领域中的渗透情况。
• 作者证明了利用文本挖掘与聚类技术构建大规模、可复现的科学软件影响分析资源的可行性。