[論文レビュー] Policy documents as sources for measuring societal impact: How is climate change research perceived in policy documents?

Lutz Bornmann, Robin Haunschild+1 more|arXiv (Cornell University)|Dec 22, 2015

demographic modeling and climate adaptation参考文献 26被引用数 5

ひとこと要約

本研究では、Altmetricが取得した政策文書への言及を、気候変動研究における社会的インパクトを測る新しい指標として評価している。19万1,276件の気候変動関連論文のうち、わずか1.2％（2,341件）が政策文書に言及されており、Nature や Science といったトップジャーナルおよび地球科学、社会的・経済地理学といった特定分野が、政策関連性が高かった。これは、政策への関与は限定的ではあるが、的を射たものであることを示唆している。

ABSTRACT

In the current UK Research Excellence Framework (REF) and the Excellence in Research for Australia (ERA) societal impact measurements are inherent parts of the national evaluation systems. In this study, we deal with a relatively new form of societal impact measurements. Recently, Altmetric - a start-up providing publication level metrics - started to make data for publications available which have been mentioned in policy documents. We regard this data source as an interesting possibility to specifically measure the (societal) impact of research. Using a comprehensive dataset with publications on climate change as an example, we study the usefulness of the new data source for impact measurement. Only 1.2 percent (2341) out of 191276 publications on climate change in the dataset have at least one policy mention. We further reveal that papers published in Nature and Science as well as from the areas Earth and related environmental sciences and Social and economic geography are especially relevant in the policy context. Given the low coverage of the climate change literature in policy documents, this study can be only a first attempt to study this new source of altmetric data. Further empirical studies are necessary in upcoming years, because mentions in policy documents are of special interest in the use of altmetric data for measuring target-oriented the broader impact of research.

研究の動機と目的

• 研究評価における社会的インパクトを測る新しい指標として、政策文書への言及の可能性を評価すること。
• Altmetricデータを用いて、気候変動研究が公式の政策文書にどの程度言及されているかを調査すること。
• 政策文書の文脈で言及されやすい論文の特徴および研究分野を同定すること。
• 研究評価フレームワークにおいて、政策言及をターゲット指向のインパクト測定ツールとして使用する可能性と限界を評価すること。

提案手法

• 学術データベースから得た19万1,276件の気候変動関連論文の包括的データセットを用いた。
• 政策言及はAltmetricから取得し、公式の政策文書における論文の引用を追跡した。
• ジャーナル（例：Nature、Science）、研究分野（例：地球科学、社会地理学）、出版タイプごとに論文を分類した。
• 少なくとも1件の政策言及がある論文の割合を算出し、全体的なカバレッジを評価した。
• ジャーナルおよび研究分野ごとの政策引用のパターンを特定し、分析した。
• 記述統計およびクロス集計を用いて、出版タイプおよび分野ごとの引用頻度を比較した。

実験結果

リサーチクエスチョン

• RQ1 Altmetricデータによると、気候変動研究の論文の何パーセントが政策文書に言及されているか？
• RQ2 どのジャーナルおよび研究分野が政策文書への言及率が最も高いか？
• RQ3 出版の場および学術分野によって、論文の政策文書への引用はどのように変化するか？
• RQ4 政策文書への言及は、研究評価における社会的インパクトの信頼性ある意味のある指標としてどの程度活用可能か？

主な発見

• 本調査のデータセットに含まれる気候変動研究論文のうち、わずか1.2％（19万1,276件中2,341件）が、少なくとも1件の政策文書に言及されていた。
• Nature や Science といった高インパクトジャーナルの論文は、政策文書に引用されやすい傾向にあった。
• 地球科学および関連環境科学、社会的・経済地理学分野の研究は、平均を上回る政策引用率を示した。
• 全体的なカバレッジが低いことから、政策言及はニッチではあるが、社会的インパクトの価値ある指標である可能性がある。
• 研究結果から、政策文書への言及は、ターゲット指向のインパクト評価指標として活用可能であるが、さらなる実証的検証が必要である。
• 本研究は、今後の研究において、このデータソースの長期的評価における一貫性と信頼性を検討する必要があることを示唆している。