[論文レビュー] Do altmetrics assess societal impact in the same way as case studies? An empirical analysis testing the convergent validity of altmetrics based on data from the UK Research Excellence Framework (REF).

Lutz Bornmann, Robin Haunschild+1 more|arXiv (Cornell University)|Jul 11, 2018

scientometrics and bibliometrics research被引用数 4

ひとこと要約

本研究では、英国の研究格差枠組み（REF）の事例研究によって評価された社会的インパクトを、アラームトリクスが反映しているかどうかを検証する。MHq'分析とピアレビューとの相関を用いて、事例研究に言及された論文におけるアラームトリクスは、収束妥当性を示すが、インパクトスコアとは弱いまたは負の相関を示すことが判明した—これは、因果的な社会的インパクトではなく、『未知の注目』を測定している可能性を示唆する。

ABSTRACT

Altmetrics have been proposed as a way to assess the societal impact of research. Although altmetrics are already in use as impact or attention metrics in different contexts, it is still not clear whether they really capture or reflect societal impact. This study is based on altmetrics, citation counts, research output and case study data from the UK Research Excellence Framework (REF), and peers' REF assessments of research output and societal impact. We investigated the convergent validity of altmetrics by using two REF datasets: publications submitted as research output (PRO) to the REF and publications referenced in case studies (PCS). Case studies, which are intended to demonstrate societal impact, should cite the most relevant research papers. We used the MHq' indicator for assessing impact - an indicator which has been introduced for count data with many zeros. The results of the first part of the analysis show that news media as well as mentions on Facebook, in blogs, in Wikipedia, and in policy-related documents have higher MHq' values for PCS than for PRO. Thus, the altmetric indicators seem to have convergent validity for these data. In the second part of the analysis, altmetrics have been correlated with REF reviewers' average scores on PCS. The negative or close to zero correlations question the convergent validity of altmetrics in that context. We suggest that they may capture a different aspect of societal impact (which can be called unknown attention) to that seen by reviewers (who are interested in the causal link between research and action in society).

研究の動機と目的

• 英国研究格差枠組み（REF）における専門家による社会的インパクト評価とアラームトリクスが一致するかどうかを評価すること。
• アラームトリクスがREF事例研究に記録された社会的インパクトの同一側面を反映しているかどうかを調査すること。
• REFからの実証的データを用いて、アラームトリクスが社会的インパクトの指標として有効であるかを評価すること。
• 事例研究に言及された論文（PCS）と研究出力として提出された論文（PRO）との間でアラームトリクスを比較すること。

提案手法

• 2つのREFデータセットを用いた：研究出力として提出された論文（PRO）と、事例研究に言及された論文（PCS）。
• MHq'指標を用いて、多数のゼロを含むカウントデータを分析し、PCSとPROにおけるアラームトリクスの収束妥当性を評価した。
• ニュース、ソーシャルメディア、政策文書への言及などのアラームトリクススコアを、事例研究のピアレビュアーの平均インパクトスコアと相関させた。
• 統計的モデリングを用いて、アラームトリクスとピアが評価した社会的インパクトとの間の収束妥当性を検証した。
• 特定のアラームトリクスカテゴリに焦点を当てた：ニュースメディア、Facebook、ブログ、Wikipedia、政策文書。
• 比較的アプローチを用いて、アラームトリクスが事例研究に言及された論文と一般の研究出力との間で、どのように関連しているかを評価した。

実験結果

リサーチクエスチョン

• RQ1 アラームトリクスは、REF事例研究における社会的インパクト評価と収束妥当性を示すか？
• RQ2 アラームトリクスは、事例研究に言及された論文（PCS）と一般の研究出力（PRO）の間で、より強く関連しているか？
• RQ3 アラームトリクススコアは、ピアレビュアーの事例研究におけるインパクトスコアとどのように相関するか？
• RQ4 アラームトリクスは、専門家レビュアーが評価する社会的インパクトの同一次元を捉えているか？
• RQ5 ピアアセスメントと相関が限定的であることを踏まえると、アラームトリクスは実際にはどのような社会的インパクトの側面を反映しているのか？

主な発見

• ニュースメディア、Facebook、ブログ、Wikipedia、政策文書への言及は、事例研究に言及された論文（PCS）において一般の研究出力（PRO）よりも高いMHq'値を示し、収束妥当性を示している。
• アラームトリクスは、REFレビュアーの事例研究における平均インパクトスコアと弱いまたは負の相関を示し、この文脈における収束妥当性に疑問を呈している。
• 強い相関がないことは、アラームトリクスがレビュアーが重視する研究と社会的行動との因果的リンクを反映していない可能性を示唆している。
• アラームトリクスは、専門家レビュアーが評価するインパクトとは異なる形の社会的注目—いわゆる『未知の注目』—を捉えているように見える。
• MHq'指標は、ゼロが多数あるデータにおいて、PCSとPRO間のアラームトリクス活動の有意差を効果的に検出でき、ゼロインフレートデータへの適用を支持する。
• 事例研究に言及された論文を識別する有効性は示しているが、アラームトリクスは専門家によるインパクト評価と一致しない。