[论文解读] Ranking Journals Using Altmetrics

Tamar Loach, Tim Evans|arXiv (Cornell University)|Jul 2, 2015

Complex Network Analysis Techniques被引用 8

一句话总结

本文提出使用替代指标（altmetrics）——即学术论文在社交媒体、新闻和博客中的提及情况——作为传统基于引用的指标之外的替代方案，用于对学术期刊进行排名。基于Mendeley等平台的数据，作者评估了多种排名方法，发现不同方法之间具有高度一致性，表明替代指标能够可靠地反映期刊影响力，同时捕捉到引用之外的其他可见性维度。

ABSTRACT

The rank of a journal based on simple citation information is a popular measure. The simplicity and availability of rankings such as Impact Factor, Eigenfactor and SciMago Journal Rank based on trusted commercial sources ensures their widespread use for many important tasks despite the well-known limitations of such rankings. In this paper we look at an alternative approach based on information on papers from social and mainstream media sources. Our data comes from altmetric.com who identify mentions of individual academic papers in sources such as Twitter, Facebook, blogs and news outlets. We consider several different methods to produce a ranking of journals from such data. We show that most (but not all) schemes produce results, which are roughly similar, suggesting that there is a basic consistency between social media based approaches and traditional citation based methods. Most ranking schemes applied to one data set produce relatively little variation and we suggest this provides a measure of the uncertainty in any journal rating. The differences we find between data sources also shows they are capturing different aspects of journal impact. We conclude a small number of such ratings will provide the best information on journal impact.

研究动机与目标

• 探究社交媒体和新闻中的替代指标数据是否可作为传统基于引用的期刊影响指标的可行替代方案。
• 评估来自不同替代指标来源（如Twitter、Facebook、博客和新闻媒体）的期刊排名的一致性和可靠性。
• 评估基于替代指标的排名与既有的影响因子（Impact Factor）和Eigenfactor等指标的相关性，尽管数据来源不同。
• 识别最能反映跨学科期刊影响力的替代指标来源和排名方案。
• 量化基于替代指标的期刊评分中的不确定性与变异性，以指导学术影响力评估的最佳实践。

提出的方法

• 从Altmetric.com平台收集学术论文的替代指标数据，追踪其在社交媒体（如Twitter）、新闻媒体、博客和主流媒体中的提及情况。
• 按期刊聚合个体论文的替代指标得分，采用多种聚合技术（如均值、总和、中位数）计算期刊层面的影响得分。
• 应用多种排名方案（如总提及次数、每篇论文的平均提及次数、标准化得分）以比较不同期刊的表现。
• 通过分析不同数据来源和聚合方法下的方差，评估排名的稳健性。
• 使用统计分析评估基于替代指标的排名与传统基于引用的指标（如影响因子、Eigenfactor）之间的相关性。
• 识别关键的替代指标数据来源（如新闻、Twitter），并评估其对期刊影响力测量的独立贡献。

实验结果

研究问题

• RQ1 社交媒体和主流媒体中的替代指标数据能否以可靠方式对学术期刊进行排名，且与传统基于引用的指标具有可比性？
• RQ2 当来自不同替代指标数据来源（如Twitter与新闻媒体）时，期刊排名的一致性如何？
• RQ3 不同的聚合方法（如均值、总和、中位数）在多大程度上影响最终的期刊排名结果？
• RQ4 基于替代指标的排名在稳定性和与既有的引用指标（如影响因子）的相关性方面表现如何？
• RQ5 哪些替代指标来源对捕捉期刊影响力最具意义？它们分别反映了可见性的哪些方面？

主要发现

• 大多数基于替代指标的排名方案产生了高度相似的期刊排名，表明不同方法之间存在数据层面的强一致性。
• 不同数据来源（如新闻与Twitter）之间期刊得分的差异表明，每种来源捕捉了期刊影响力的不同维度。
• 基于替代指标的排名与传统引用指标存在合理相关性，但在顶级期刊的排名位置上存在显著差异。
• 各方案间得分的相对低方差表明，基于替代指标的期刊评分存在可测量的不确定性，应在解读时予以考虑。
• 新闻媒体和Twitter被证明是影响替代指标得分的最重要来源，对整体期刊可见性指标有显著贡献。
• 选择少数关键的替代指标指标即可提供稳健且信息丰富的期刊影响力评估，而不会造成冗余。