[論文レビュー] Societal and scientific impact of policy research: A large-scale empirical study of some explanatory factors using Altmetric and Overton

Pablo Dorta–González, Alejandro Rodrı́guez+1 more|arXiv (Cornell University)|Mar 11, 2024

Social Capital and Networks被引用数 4

ひとこと要約

本研究は、約12万5千件の政策学術雑誌論文を対象に、AltmetricおよびOvertonのデータを用いて、科学的研究が政策立案に与える影響を大規模に分析している。ニュース報道の取り上げ、ソーシャルメディアでの関与、非課金アクセス（非課金制限）が、政策文書における引用を顕著に増加させることが判明した。一方、課金制限付き（ペイウォール）および完全オープンアクセスの論文は、政策文書での引用が少ない傾向にあり、研究と政策の橋渡しに科学的コミュニケーションが果たす重要性が浮き彫りになった。

ABSTRACT

This study investigates how scientific research influences policymaking by analyzing citations of research articles in policy documents (policy impact) for nearly 125,000 articles across 434 public policy journals. We reveal distinct citation patterns between policymakers and other stakeholders like researchers, journalists, and the public. News and blog mentions, social media engagement, and open access publications (excluding fully open access) significantly increase the likelihood of a research article being cited in policy documents. Conversely, articles locked behind paywalls and those published under the full open access model (based on Altmetric data) have a lower chance of being policy-cited. Publication year and policy type show no significant influence. Our findings emphasize the crucial role of science communication channels like news media and social media in bridging the gap between research and policy. Interestingly, academic citations hold a weaker influence on policy citations compared to news mentions, suggesting a potential disconnect between how researchers reference research and how policymakers utilize it. This highlights the need for improved communication strategies to ensure research informs policy decisions more effectively. This study provides valuable insights for researchers, policymakers, and science communicators. Researchers can tailor their dissemination efforts to reach policymakers through media channels. Policymakers can leverage these findings to identify research with higher policy relevance. Science communicators can play a critical role in translating research for policymakers and fostering dialogue between the scientific and policymaking communities.

研究の動機と目的

• 大規模な政策学術雑誌の論文コーパスを通じて、科学的研究が政策文書に引用される要因を調査すること。
• 学術的引用、メディア報道、オープンアクセス状態の相対的な影響が、政策的インパクトに与える影響を特定すること。
• 出版年、政策タイプ、研究分野が、政策引用の可能性に顕著な影響を及えるかどうかを検証すること。
• ニュースメディアやソーシャルメディアなどの科学的コミュニケーションチャnelが、政策立案者が研究を採用するのをどのように促進するかを評価すること。
• 的確な広報と配信戦略を通じて、研究が政策にどのように変換されるかを改善するための戦略を提示すること。

提案手法

• 434種の公共政策学術雑誌から124,986件の論文データを収集し、政策文書における引用を焦点とした。
• メディア報道、ソーシャルメディアでの関与、ニュース報道の状況を測定するために、Altmetric注目度スコアを用いた。
• 各論文のオープンアクセスの有無およびタイプ（例：ハイブリッド型対完全オープンアクセス）を評価するために、Overtonデータを統合した。
• 研究論文が政策文書に引用される確率をモデル化するために、多変量ロジスティック回帰を適用した。
• 通信およびアクセス要因の影響を明確にするために、出版年、学術雑誌のインパクトファクター、研究分野を制御した。
• 結果の信頼性を確保するため、サブグループごとの妥当性チェックと感度分析を実施して、妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 どのコミュニケーションおよびアクセス要因が、研究論文が政策文書に引用される可能性を最も強く予測するか？
• RQ2 メディア報道とソーシャルメディアでの関与は、学術的引用と比較して、政策引用にどのように影響を与えるか？
• RQ3 オープンアクセスモデルの種別（例：ハイブリッド型対完全オープンアクセス）が、政策引用の確率に影響を与えるか？
• RQ4 出版年および政策タイプは、研究の可視性と政策的インパクトの関係をどの程度緩和・調整するか？
• RQ5 ニュース報道の影響は、学術的引用と比較して、政策引用を予測する上でどの程度顕著か？

主な発見

• ニュース報道の取り上げとソーシャルメディアでの関与は、研究論文が政策文書に引用される可能性を顕著に高める。特に、ニュース報道の影響は学術的引用よりも強い。
• 非課金アクセス（例：サブスクリプション型、ハイブリッド型オープンアクセス）の論文は、完全オープンアクセスの論文よりも政策引用の可能性が高くなる。これは、アクセスモデルの種別が重要であることを示唆している。
• 課金制限付き（ペイウォール）の論文は、学術的可視性があるにもかかわらず、政策引用の可能性が低い。これは、アクセス制限が政策的関連性を低下させる可能性を示している。
• 学術的引用は、メディア報道の影響に比べて、政策引用の予測力が弱い。これは、学術的コミュニティと政策コミュニティの間で、潜在的な乖離が生じている可能性を示している。
• 出版年および政策タイプは、政策引用の可能性に統計的に有意な影響を及えない。これは、政策の受容において、時間的要因および分野的要因が中立的である可能性を示している。
• メディアの可視性とオープンアクセス（完全オープンアクセスを除く）の組み合わせが、政策引用の確率を最も高める。これは、戦略的な配信の重要性を強調している。