[論文レビュー] Overton -- A bibliometric database of policy document citations

Martin Szomszor, Euan Adie|arXiv (Cornell University)|Jan 19, 2022

scientometrics and bibliometrics research被引用数 16

ひとこと要約

本稿は、政策文書と学術文献の引用を索引づける文献計測データベース「Overton」の評価を行う。Overtonは、公衆衛生、経済学、環境政策など、分野別正規化された引用指標を提供できることを示し、自己報告の資金獲得成果と強く相関し、共同審査による影響評価と中程度の相関を示す。これにより、従来の引用を超えた自動化された影響評価が可能になる。

ABSTRACT

This paper presents an analysis of the Overton policy document database, describing the makeup of materials indexed and the nature in which they cite academic literature. We report on various aspects of the data, including growth, geographic spread, language representation, the range of policy source types included, and the availability of citation links in documents. Longitudinal analysis over established journal category schemes is used to reveal the scale and disciplinary focus of citations and determine the feasibility of developing field-normalized citation indicators. We examine how well self-reported funding outcomes collected by UK funders corresponds to data indexed in the Overton database, and if peer-review assessment of impact as measured by the UK Research Excellence Framework (REF) 2014 correlates with derived citation metrics. Our findings show that for some research topics, such as health, economics, social care and the environment, Overton contains a core set of policy documents with sufficient citation linkage to academic literature to support various citation analysis that may be informative in research evaluation, impact assessment, and policy review. The data indexed in Overton agrees with that collected via self-reporting of funding outcomes, and correlates with peer-review assessment of impact in some disciplines.

研究の動機と目的

• 政策文書の引用を研究評価のための文献計測データソースとして使用する可能性を検討すること。
• Overtonデータベースのカバレッジ、地理的・専門分野的分布、引用リンクの質を評価すること。
• UK資金提供機関から得た自己報告の資金獲得成果と、Overtonの引用データがどの程度一致するかを検討すること。
• UKのREF2014における共同審査による影響評価と、政策文書の引用指標との関係を調査すること。
• 政策に影響を与える研究分野における分野別正規化された引用指標を開発する可能性を同定すること。

提案手法

• 2000年から2021年までに索引づけられた30,000件を超える政策ソース（政府機関、シンクタンク、国際政府間組織、慈善団体など）を含むOvertonデータベースを分析する。
• 既存の学術ジャーナル分類体系（例：ASJC）を用いた縦断的分析により、分野別に引用件数と分布を評価する。
• UK資金提供機関から得た自己報告の政策影響データと、Overtonが抽出した引用データを比較し、整合性を評価する。
• UKの研究の質評価フレームワーク（REF）2014の共同審査による影響スコアと、Overtonから導出された引用指標を相関分析する。
• 分野レベルの引用件数（1分野あたり250件以上）を用いて、引用遅延、分布パターン、正規化の可能性を評価する。
• Mendeleyやソーシャルメディアデータで観察された対数正規分布の傾向と照らし合わせ、引用分布を比較する。

実験結果

リサーチクエスチョン

• RQ1 Overtonのデータカバレッジは、分野別正規化された引用指標の開発をどの程度支援できるか。
• RQ2 Overtonの引用指標は、UK資金提供機関から得た自己報告の政策影響成果とどの程度相関するか。
• RQ3 UKのREF2014において、政策引用の影響と共同審査による影響評価の間に測定可能な相関があるか。
• RQ4 Overtonに索引づけられた政策文書の地理的・言語的多様性は、学術的出力と比べてどのようになっているか。
• RQ5 政策機関ごとに引用遅延のパターンはどのように変化し、それらは政策における証拠の活用状況を何を示唆するか。

主な発見

• Overtonは2000年以降、年間20万件以上の政策文書を索引づけており、800万件以上の参照を含み、年間20万～40万件の学術ジャーナルへの引用を含む。
• 索引づけられたPDFの88％はDOIを欠いているが、約20万件のコア文書は十分な引用リンクを有しており、文献計測分析に適している。
• 2000年から2018年までに何らかの政策引用を受けた論文の88％は、ASJCの専門分野カテゴリを用いて分野別正規化可能であり、正規化指標の強力な可能性を示している。
• Overtonの引用データとUK資金提供機関の自己報告の政策影響成果との間に強い相関が確認され、自動報告の可能性が示唆される。
• 特定の評価単位（Units of Assessment）において、共同審査による影響スコアと政策引用順位との間に中程度の相関が認められ、影響評価のベンチマークとしての有用性が示された。
• Overtonの引用分布は、他のアラートメトリクスと同様に対数正規分布に従っており、統計的モデリングと正規化に適している。