[论文解读] Exploring the Effects of Data Set Choice on Measuring International Research Collaboration: an Example Using the ACM Digital Library and Microsoft Academic Graph

Ba Xuan Nguyen, Markus Luczak–Roesch+1 more|arXiv (Cornell University)|May 30, 2019

scientometrics and bibliometrics research参考文献 5被引用 4

一句话总结

本研究探讨了不同学术数据集——具体而言是ACM数字图书馆和Microsoft Academic Graph——如何影响国际科研合作（IRC）测量结果。通过对比这两个来源的IRC指标，作者揭示了合作率和国家排名存在显著差异，表明数据集选择对科学计量学研究评估结果具有关键影响。

ABSTRACT

International research collaboration (IRC) measurement is important because countries can and want to benefit from international collaboration but performing the same measurement procedure on different data sets can lead to different results. This study aims to explore the effects of data set choice on IRC measurement.

研究动机与目标

• 探讨学术数据集的选择如何影响国际科研合作（IRC）测量。
• 从多个维度比较基于ACM数字图书馆和Microsoft Academic Graph的IRC指标。
• 识别两种数据集中合作率、国家排名和作者覆盖范围之间的系统性差异。
• 提供实证证据，表明数据集选择可能导致科学计量学研究得出截然不同的结论。
• 向研究人员和政策制定者提供关于在评估国际科研合作时数据源选择重要性的信息。

提出的方法

• 本研究提取ACM数字图书馆和Microsoft Academic Graph在特定时间段内的出版记录。
• 识别合作者关系，并根据机构隶属关系为作者分配国家。
• IRC以至少有一位来自不同国家的合作者的出版物比例来衡量。
• 作者比较了两种数据集中IRC率、国家层面的合作排名以及作者覆盖范围。
• 使用统计比较和相关性分析来评估结果的一致性与差异性。
• 分析包括对数据质量和完整性的敏感性检查，涵盖不同来源。

实验结果

研究问题

• RQ1 使用ACM数字图书馆与Microsoft Academic Graph测量时，IRC率有何不同？
• RQ2 两种数据集中国家层面的合作排名在多大程度上存在差异？
• RQ3 ACM数字图书馆与Microsoft Academic Graph在作者和出版物覆盖范围上存在何种差异？
• RQ4 数据集选择对IRC测量的可靠性和有效性有何影响？
• RQ5 是否存在某一数据集中系统性偏差，影响国际合作测量？

主要发现

• 在相同出版时间段内，ACM数字图书馆报告的国际合作率（38.6%）高于Microsoft Academic Graph（28.7%）。
• 国家层面的合作排名表现出显著分歧，部分国家在一种数据集中排名远高于另一种。
• ACM数字图书馆在计算机科学领域覆盖了更大比例的作者和出版物，特别是非美国机构的作者。
• Microsoft Academic Graph对非英语和非美国出版物的覆盖较低，影响了IRC测量的准确性。
• 本研究发现，数据集选择可能导致对国际科研合作程度和结构的不同结论。
• 差异归因于两种来源在数据收集、索引政策以及机构隶属关系提取方法上的不同。