[论文解读] Do altmetrics assess societal impact in the same way as case studies? An empirical analysis testing the convergent validity of altmetrics based on data from the UK Research Excellence Framework (REF).

Lutz Bornmann, Robin Haunschild+1 more|arXiv (Cornell University)|Jul 11, 2018

scientometrics and bibliometrics research被引用 4

一句话总结

本研究检验了替代计量指标是否反映了英国研究卓越框架（REF）案例研究中评估的社会影响。通过MHq'分析并结合同行评审的相关性分析，研究发现替代计量指标在案例研究引用的论文中表现出会聚效度，但与影响评分的相关性微弱或为负——表明其衡量的是‘未知关注’，而非因果社会影响。

ABSTRACT

Altmetrics have been proposed as a way to assess the societal impact of research. Although altmetrics are already in use as impact or attention metrics in different contexts, it is still not clear whether they really capture or reflect societal impact. This study is based on altmetrics, citation counts, research output and case study data from the UK Research Excellence Framework (REF), and peers' REF assessments of research output and societal impact. We investigated the convergent validity of altmetrics by using two REF datasets: publications submitted as research output (PRO) to the REF and publications referenced in case studies (PCS). Case studies, which are intended to demonstrate societal impact, should cite the most relevant research papers. We used the MHq' indicator for assessing impact - an indicator which has been introduced for count data with many zeros. The results of the first part of the analysis show that news media as well as mentions on Facebook, in blogs, in Wikipedia, and in policy-related documents have higher MHq' values for PCS than for PRO. Thus, the altmetric indicators seem to have convergent validity for these data. In the second part of the analysis, altmetrics have been correlated with REF reviewers' average scores on PCS. The negative or close to zero correlations question the convergent validity of altmetrics in that context. We suggest that they may capture a different aspect of societal impact (which can be called unknown attention) to that seen by reviewers (who are interested in the causal link between research and action in society).

研究动机与目标

• 评估替代计量指标是否与英国研究卓越框架（REF）中专家对社会影响的评估具有一致性。
• 调查替代计量指标是否反映了REF案例研究中记录的社会影响的相同方面。
• 利用来自REF的实证数据，评估替代计量指标作为社会影响指标的有效性。
• 比较在案例研究中被引用的出版物（PCS）与作为研究成果提交的出版物（PRO）之间的替代计量指标。

提出的方法

• 使用两个REF数据集：作为研究成果提交的出版物（PRO）和在案例研究中被引用的出版物（PCS）。
• 应用MHq'指标分析具有大量零值的计数数据，评估替代计量指标在PCS与PRO之间的会聚效度。
• 将替代计量分数（如新闻、社交媒体、政策提及）与REF评审者对案例研究的平均影响评分进行相关性分析。
• 使用统计建模检验替代计量指标与同行评估的社会影响之间的会聚效度。
• 重点关注特定替代计量类别：新闻媒体、Facebook、博客、维基百科和政策文件。
• 采用比较方法，评估替代计量指标在与案例研究引用论文相关联方面是否与一般研究成果存在差异。

实验结果

研究问题

• RQ1 替代计量指标是否在REF案例研究的社会影响评估中表现出会聚效度？
• RQ2 替代计量指标是否与在案例研究中被引用的出版物（PCS）比与一般研究成果（PRO）具有更强的相关性？
• RQ3 替代计量分数与同行评审者对案例研究的影响评分之间如何相关？
• RQ4 替代计量指标是否捕捉了与专家评审者相同的影响力维度？
• RQ5 鉴于其与同行评估的相关性有限，替代计量指标实际上反映了社会影响的哪些方面？

主要发现

• 新闻媒体、Facebook、博客、维基百科和政策文件提及的MHq'值在被案例研究引用的出版物（PCS）中高于一般研究成果（PRO），表明具有会聚效度。
• 替代计量指标与REF评审者对案例研究的平均影响评分表现出微弱或负相关，挑战了其在此语境下的会聚效度。
• 缺乏强相关性表明，替代计量指标可能并未反映评审者所重视的研究与社会行动之间的因果联系。
• 替代计量指标似乎捕捉了一种不同的社会关注形式——称为‘未知关注’——与专家评审者评估的影响不同。
• MHq'指标有效检测到PCS与PRO之间替代计量活动的显著差异，支持其在零膨胀数据中的应用。
• 尽管在区分案例研究引用论文方面表现出一定有效性，替代计量指标仍未能与专家对影响的评估保持一致。