[논문 리뷰] Do altmetrics assess societal impact in the same way as case studies? An empirical analysis testing the convergent validity of altmetrics based on data from the UK Research Excellence Framework (REF).

Lutz Bornmann, Robin Haunschild외 1명|arXiv (Cornell University)|2018. 07. 11.

scientometrics and bibliometrics research인용 수 4

한 줄 요약

이 연구는 영국 연구성과평가(REF) 사례 연구에서 평가한 사회적 영향을 알트미트릭스가 반영하는지 테스트한다. MHq' 분석과 동료 평가와의 상관관계를 통해, 알트미트릭스는 사례 연구에 언급된 논문에 대해 수렴 타당성을 보이지만, 영향도 평가와는 약하거나 부정적인 상관관계를 보이며, 이는 인과적 사회적 영향이 아닌 '알 수 없는 주목'을 측정할 가능성이 있음을 시사한다.

ABSTRACT

Altmetrics have been proposed as a way to assess the societal impact of research. Although altmetrics are already in use as impact or attention metrics in different contexts, it is still not clear whether they really capture or reflect societal impact. This study is based on altmetrics, citation counts, research output and case study data from the UK Research Excellence Framework (REF), and peers' REF assessments of research output and societal impact. We investigated the convergent validity of altmetrics by using two REF datasets: publications submitted as research output (PRO) to the REF and publications referenced in case studies (PCS). Case studies, which are intended to demonstrate societal impact, should cite the most relevant research papers. We used the MHq' indicator for assessing impact - an indicator which has been introduced for count data with many zeros. The results of the first part of the analysis show that news media as well as mentions on Facebook, in blogs, in Wikipedia, and in policy-related documents have higher MHq' values for PCS than for PRO. Thus, the altmetric indicators seem to have convergent validity for these data. In the second part of the analysis, altmetrics have been correlated with REF reviewers' average scores on PCS. The negative or close to zero correlations question the convergent validity of altmetrics in that context. We suggest that they may capture a different aspect of societal impact (which can be called unknown attention) to that seen by reviewers (who are interested in the causal link between research and action in society).

연구 동기 및 목표

• 영국 연구성과평가(REF)에서 전문가 평가의 사회적 영향과 알트미트릭스가 수렴하는지 평가하기 위해.
• REF 사례 연구에 기록된 바와 동일한 사회적 영향 측면을 알트미트릭스가 반영하는지 조사하기 위해.
• REF의 실증 데이터를 활용하여 알트미트릭스가 사회적 영향 지표로서의 타당성을 평가하기 위해.
• 사례 연구에 인용된 논문(PCS)과 연구 결과로 제출된 논문(PRO) 간 알트미트릭스를 비교하기 위해.

제안 방법

• 두 개의 REF 데이터셋을 활용: 연구 결과로 제출된 논문(PRO)과 사례 연구에 인용된 논문(PCS).
• 많은 수의 0을 포함한 카운트 데이터 분석을 위해 MHq' 지표를 적용하여, PCS와 PRO 간 알트미트릭스의 수렴 타당성을 평가함.
• 알트미트릭스 점수(예: 뉴스, 소셜 미디어, 정책 언급 등)를 사례 연구에 대한 REF 평가자들의 평균 영향도 점수와 상관관계 분석함.
• 통계 모델링을 통해 알트미트릭스와 전문가 평가의 사회적 영향 간 수렴 타당성을 검증함.
• 특정 알트미트릭스 카테고리에 집중: 뉴스 미디어, 페이스북, 블로그, 위키백과, 정책 문서.
• 사례 연구에 인용된 논문과 일반 연구 결과 간의 연관성에서 알트미트릭스가 어떻게 다를지 평가하기 위해 비교적 접근 방식을 사용함.

실험 결과

연구 질문

• RQ1 알트미트릭스는 REF 사례 연구의 사회적 영향 평가와 수렴 타당성을 보여주는가?
• RQ2 알트미트릭스는 사례 연구에 인용된 논문(PCS)보다 일반 연구 결과(PRO)와 더 강하게 연관되어 있는가?
• RQ3 알트미트릭스 점수는 사례 연구에 대한 동료 평가자의 영향도 점수와 어떻게 상관관계가 있는가?
• RQ4 알트미트릭스는 전문가 평가자들이 평가하는 사회적 영향의 동일한 차원을 반영하는가?
• RQ5 알트미트릭스가 동료 평가와의 상관관계가 제한적인 바탕으로, 실제로 알트미트릭스는 사회적 영향의 어떤 측면을 반영하는가?

주요 결과

• 뉴스 미디어, 페이스북, 블로그, 위키백과, 정책 문서 언급은 사례 연구에 인용된 논문(PCS)에서 일반 연구 결과(PRO)보다 더 높은 MHq' 값을 보이며, 이는 수렴 타당성을 시사한다.
• 알트미트릭스는 REF 평가자들이 사례 연구에 대해 평가한 평균 영향도 점수와 약하거나 부정적인 상관관계를 보이며, 이는 이 맥락에서의 수렴 타당성에 의문을 제기한다.
• 강한 상관관계가 없는 것은 알트미트릭스가 평가자가 우선시하는 연구와 사회적 행동 간의 인과적 연결을 반영하지 못할 가능성이 있음을 시사한다.
• 알트미트릭스는 전문가 평가자가 평가하는 영향과는 다를 수 있는 다른 형태의 사회적 주목을 반영하는 것으로 보이며, 이를 '알 수 없는 주목'이라 칭한다.
• MHq' 지표는 PCS와 PRO 간 알트미트릭스 활동의 의미 있는 차이를 효과적으로 탐지하여, 0이 많은 데이터에서의 적용에 유용함을 입증한다.
• 사례 연구에 인용된 논문을 구분하는 데 일부 타당성을 보였지만, 알트미트릭스는 전문가 평가의 영향도와 일치하지 않는다.