[论文解读] Large-scale comparison of bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic

Martijn S. Visser, Nees Jan van Eck+1 more|arXiv (Cornell University)|May 21, 2020

scientometrics and bibliometrics researchDecision Sciences被引用 20

一句话总结

本研究对五大主流书目数据库——Scopus、Web of Science、Dimensions、Crossref 和 Microsoft Academic——在 2008 至 2017 年间进行了大规模、系统性的比较，涵盖文献覆盖范围、引文完整性和准确性。研究揭示了在文献覆盖和引文可靠性方面存在显著差异，强调在进行稳健的书目计量分析时，需结合广泛文献覆盖与灵活过滤策略。

ABSTRACT

We present a large-scale comparison of five multidisciplinary bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic. The comparison considers scientific documents from the period 2008-2017 covered by these data sources. Scopus is compared in a pairwise manner with each of the other data sources. We first analyze differences between the data sources in the coverage of documents, focusing for instance on differences over time, differences per document type, and differences per discipline. We then study differences in the completeness and accuracy of citation links. Based on our analysis, we discuss strengths and weaknesses of the different data sources. We emphasize the importance of combining a comprehensive coverage of the scientific literature with a flexible set of filters for making selections of the literature.

研究动机与目标

• 评估并比较五个主要多学科书目数据库的覆盖范围、完整性和准确性。
• 识别在时间、文献类型和学术学科方面文献覆盖的系统性差异。
• 评估五个数据源之间引文链接的可靠性和一致性。
• 为大规模文献分析选择合适的书目数据库提供基于证据的指导。
• 强调在书目计量研究中结合全面覆盖与灵活过滤的重要性。

提出的方法

• 对 Scopus 与其余四个数据源（Web of Science、Dimensions、Crossref、Microsoft Academic）进行了大规模、成对比较。
• 按年份、文献类型和学术学科对 2008–2017 年期间的文献覆盖范围进行分析。
• 通过比较各源之间的正向和反向引文记录，评估引文链接的完整性和准确性。
• 采用统计和基于网络的方法评估引文数据的一致性与差异。
• 应用标准化指标量化文献记录和引文记录之间的重叠与分歧。
• 聚焦于多学科科学文献，以确保在各研究领域中的可推广性。

实验结果

研究问题

• RQ1 在 2008 至 2017 年间，五个书目数据源在科学文献覆盖方面如何比较？
• RQ2 在不同文献类型（如期刊文章、综述、会议论文）和学术学科之间，覆盖范围有何差异？
• RQ3 各数据源之间的引文链接一致性如何？哪些源在完整性和准确性方面表现更优？
• RQ4 各数据源在支持大规模书目计量研究方面的优缺点是什么？
• RQ5 结合多个数据源能在多大程度上提升文献分析的可靠性和全面性？

主要发现

• Scopus 在 STEM 和健康科学领域展现出比 Web of Science 更广的覆盖范围，且在大多数年份中记录的文献数量更高。
• Dimensions 在临床医学和生命科学领域表现强劲，通常在这些领域中超过 Web of Science 和 Crossref。
• Crossref 在引文链接缺失或不完整方面比例最高，尤其在较早出版物和非英文期刊中更为显著。
• Microsoft Academic 在非英文及非英语期刊的覆盖方面存在显著缺口，尤其在 2010 年以前更为明显。
• Web of Science 拥有最一致的引文数据，但覆盖范围最窄，尤其在工程学和计算机科学领域。
• 研究发现，没有任何一个数据源能提供完全覆盖；结合多个数据源可显著提升文献检索的完整性和准确性。