[论文解读] How well developed are Altmetrics? Cross-disciplinary analysis of the presence of alternative metrics in scientific publications?

Zohreh Zahedi, Rodrigo Costas+1 more|arXiv (Cornell University)|Feb 21, 2014

scientometrics and bibliometrics research被引用 9

一句话总结

本研究利用来自20,000篇Web of Science出版物的数据，评估了跨科学学科的替代指标（altmetrics）的发展与实用性。研究发现，Mendeley 提供了最全面的替代指标数据（覆盖率达62.6%），其读者数量与引文数量之间存在中等程度的相关性（r=0.49），凸显了替代指标在绩效评估中的潜力与局限性。

ABSTRACT

In this paper an analysis of the presence and possibilities of altmetrics for bibliometric and performance analysis is carried out. Using the web based tool Impact Story, we collected metrics for 20,000 random publications from the Web of Science. We studied both the presence and distribution of altmetrics in the set of publications, across fields, document types and over publication years, as well as the extent to which altmetrics correlate with citation indicators. The main result of the study is that the altmetrics source that provides the most metrics is Mendeley, with metrics on readerships for 62.6% of all the publications studied, other sources only provide marginal information. In terms of relation with citations, a moderate spearman correlation (r=0.49) has been found between Mendeley readership counts and citation indicators. Other possibilities and limitations of these indicators are discussed and future research lines are outlined.

研究动机与目标

• 评估科学出版物中替代指标（altmetrics）当前的发展状况与可获得性。
• 考察替代指标在不同学术学科、文献类型和出版年份中的分布与存在情况。
• 评估替代指标与传统引文指标之间的相关性。
• 识别替代指标在文献计量与绩效分析中所具有的优势、局限性以及未来研究方向。

提出的方法

• 本研究使用ImpactStory网络工具，从Web of Science数据库中随机选取20,000篇出版物，收集其替代指标数据。
• 从Mendeley、Twitter和新闻媒体等多个来源收集替代指标，以评估其存在情况与分布特征。
• 研究人员分析了22个学术学科、不同文献类型以及2000至2012年期间的替代指标频率与分布情况。
• 采用Spearman等级相关系数衡量Mendeley读者数量与引文数量之间的关系。
• 分析重点在于识别主导的替代指标来源，并评估其在各学科中的覆盖率与可靠性。
• 结合定性与定量评估，以评价替代指标在科研评估中的潜力与局限性。

实验结果

研究问题

• RQ1 替代指标在不同科学学科和出版类型中的普及程度如何？
• RQ2 哪种替代指标来源为科学出版物提供了最全面的数据覆盖？
• RQ3 替代指标与传统引文指标的相关程度如何？
• RQ4 替代指标的存在与分布随时间及学科的变化情况如何？
• RQ5 在科研评估中，替代指标的关键局限性与未来研究需求是什么？

主要发现

• Mendeley为所研究的20,000篇出版物中的62.6%提供了读者数据，是主导的替代指标来源。
• 其他替代指标来源（如Twitter和新闻提及）贡献较少，其数据在出版物中的可用性较低。
• Mendeley读者数量与引文数量之间存在中等程度的正相关性（Spearman r = 0.49）。
• 替代指标在不同学科中的分布存在显著差异，社会科学和生命科学领域的覆盖率较高，而物理科学领域的覆盖率较低。
• 替代指标的时间一致性有限，尽管数据可用性随时间增加，但分布仍不均衡。
• 本研究指出，亟需建立标准化的数据收集机制，并加强替代指标指标在跨学科间的验证。