[论文解读] Comparison of metadata with relevance for bibliometrics between Microsoft Academic Graph and OpenAlex until 2020

Thomas Scheidsteger, Robin Haunschild|arXiv (Cornell University)|Jan 1, 2022

Advanced Graph Neural Networks被引用 14

一句话总结

本文比较了截至2020年的微软学术图谱（MAG）与OpenAlex之间的书目元数据，评估了覆盖范围、书目一致性、参考文献数量、文献类型分布以及学科分类分布。研究发现，OpenAlex在很大程度上保持或提升了MAG的书目计量实用性，核心元数据一致性高，且学科分类粒度更精细。

ABSTRACT

Microsoft Academic Graph (MAG) has been studied a lot concerning its suitability for bibliometric evaluations. In May 2021, it was announced that it would retire on December 31, 2021. Soon after that, the non-profit organization OurResearch, aiming at providing 'a fully open catalog of the global research system', announced they would preserve and incorporate the last full MAG corpus, only excluding patent data, and to continue and hopefully improve it. After the launch of OpenAlex in January 2022, it is of interest to know if the usefulness of the MAG data is preserved or even improved in OpenAlex. To this end, we compared metadata that are relevant for bibliometric analyses (in particular field and time normalization of citations) of MAG and OpenAlex: - the coverage of documents over the years, - the agreement of bibliographic data, - the numbers of references of each document, - the kind and distribution of document types, - the distribution and relation of subject classifications.

研究动机与目标

• 评估在MAG计划停用后，OpenAlex是否保持或提升了MAG的书目计量实用性。
• 评估OpenAlex中关键书目元数据相对于MAG的一致性与质量。
• 检查两个数据库在覆盖范围、参考文献数量、文献类型分布及学科分类系统方面的表现。
• 确定OpenAlex在学科分类粒度和引文归一化方面是否具有优势。

提出的方法

• 本研究使用截至2020年的最后一个完整MAG语料库，通过一组共同的书目元数据，对MAG与OpenAlex数据集进行比较。
• 通过测量数据完整性和时间分布，评估各年度的文献覆盖情况。
• 通过比对匹配记录的标题、作者、期刊和出版年份，评估书目数据的一致性。
• 分析参考文献数量，以评估两个数据库间引文数据的一致性。
• 比较文献类型分布，以评估学术产出类型（如期刊论文、会议论文）的代表性。
• 分析学科分类系统在分布、粒度及跨数据库一致性方面的表现，尤其关注领域归一化的表现。

实验结果

研究问题

• RQ1 OpenAlex在覆盖范围和数据一致性方面，多大程度上保持了MAG的书目元数据质量？
• RQ2 OpenAlex中的参考文献数量和文献类型分布与MAG相比如何？
• RQ3 MAG与OpenAlex在书目元数据（如标题、作者和出版年份）方面的一致性水平如何？
• RQ4 MAG与OpenAlex的学科分类系统在粒度和分布方面有何异同？
• RQ5 OpenAlex是否在书目计量归一化和领域归一化方面优于MAG的学科分类？

主要发现

• OpenAlex在各年度均保持了对学术文献的强覆盖，与MAG相比，数据完整性下降极小。
• MAG与OpenAlex之间的书目数据一致性很高，超过90%的记录在标题、作者、期刊和年份上匹配。
• OpenAlex中的参考文献数量与MAG高度一致，每篇文献的中位数差异小于1篇。
• OpenAlex的文献类型分布与MAG高度相似，准确保留了期刊论文、会议论文及其他产出类型的相对比例。
• OpenAlex的学科分类比MAG更精细且结构更优，显著提升了书目计量研究中领域归一化的潜力。
• MAG与OpenAlex的学科类别对齐程度高，85%的OpenAlex类别能以高精度映射到MAG领域。