[论文解读] Altmetrics in the wild: Using social media to explore scholarly impact

Jason Priem, Heather Piwowar+1 more|arXiv (Cornell University)|Mar 20, 2012

scientometrics and bibliometrics research被引用 356

一句话总结

本研究分析了来自 Mendeley、Twitter 和 Wikipedia 等社交媒体平台的替代计量指标，以评估超越传统引用的学术影响力。研究发现，替代计量指标捕捉到独特且多样的影响力形式——尤其是读者参与和分享行为——与引用指标相辅相成，其中 80% 的文章被保存在 Mendeley 书架中，25% 的文章来自五个或更多来源的数据。

ABSTRACT

In growing numbers, scholars are integrating social media tools like blogs, Twitter, and Mendeley into their professional communications. The online, public nature of these tools exposes and reifies scholarly processes once hidden and ephemeral. Metrics based on this activities could inform broader, faster measures of impact, complementing traditional citation metrics. This study explores the properties of these social media-based metrics or "altmetrics", sampling 24,331 articles published by the Public Library of Science. We find that that different indicators vary greatly in activity. Around 5% of sampled articles are cited in Wikipedia, while close to 80% have been included in at least one Mendeley library. There is, however, an encouraging diversity; a quarter of articles have nonzero data from five or more different sources. Correlation and factor analysis suggest citation and altmetrics indicators track related but distinct impacts, with neither able to describe the complete picture of scholarly use alone. There are moderate correlations between Mendeley and Web of Science citation, but many altmetric indicators seem to measure impact mostly orthogonal to citation. Articles cluster in ways that suggest five different impact "flavors", capturing impacts of different types on different audiences; for instance, some articles may be heavily read and saved by scholars but seldom cited. Together, these findings encourage more research into altmetrics as complements to traditional citation measures.

研究动机与目标

• 分析来自社交媒体和在线学术工具的替代计量指标的特性与分布。
• 评估替代计量指标与传统引用指标在衡量学术影响力方面的对比。
• 识别替代计量指标是否反映的是独立维度还是重叠的学术影响力。
• 通过分析多个替代计量指标来源的模式，探索学术影响力的多样性。

提出的方法

• 本研究选取了由公共科学图书馆（Public Library of Science, PLOS）发表的 24,331 篇文章，以分析来自多个平台的替代计量数据。
• 数据从多种来源收集，包括 Wikipedia 引用、Mendeley 书架保存、Twitter 讨论和博客引用。
• 使用相关性分析和因子分析，评估替代计量指标与传统引用次数（如 Web of Science 引用）之间的关系。
• 聚类分析识别出学术影响力的显著模式，表明在不同受众和平台之间存在五种不同的‘影响力类型’。
• 本研究量化了在不同替代计量来源中具有非零活动的文章比例，以评估影响力的多样性与覆盖范围。

实验结果

研究问题

• RQ1 不同类型的替代计量活动（如 Mendeley 保存、Wikipedia 引用）在学术文章中有多普遍？
• RQ2 替代计量指标与传统引用指标（如 Web of Science 引用）的相关程度如何？
• RQ3 替代计量指标是否衡量了与引用次数正交的影响力，还是主要反映了相似的学术影响力？
• RQ4 能否基于替代计量指标的模式识别出不同的学术影响力聚类，从而表明不同类型的受众参与？

主要发现

• 约 80% 的样本 PLOS 文章被保存在至少一个 Mendeley 书架中，表明读者参与度较高。
• 仅约 5% 的文章在 Wikipedia 中被引用，表明与其它替代计量指标相比，Wikipedia 引用相对较少。
• 四分之一的文章在五个或更多不同的替代计量来源中产生了非零数据，表明影响力衡量具有显著多样性。
• Mendeley 使用量与 Web of Science 引用次数呈中等相关性，但许多替代计量指标衡量的影响力在很大程度上与引用指标正交。
• 因子分析与聚类分析揭示了五种不同的‘影响力类型’，表明文章可能被广泛阅读和保存，但未必被引用。