[論文レビュー] An analysis of the effects of sharing research data, code, and preprints on citations

Giovanni Colavizza, Lauren Cadwallader+5 more|arXiv (Cornell University)|Apr 24, 2024

Academic Publishing and Open Access被引用数 5

ひとこと要約

本研究は，大規模OAデータセットを用いて、Open Science指標（データ共有、コード共有、プレプリント投稿）が引用数とどう関連するかを分析する。プレプリントとオンラインデータ共有は引用数の増加と相関する一方、コード共有は有意な影響を示さない。

ABSTRACT

Calls to make scientific research more open have gained traction with a range of societal stakeholders. Open Science practices include but are not limited to the early sharing of results via preprints and openly sharing outputs such as data and code to make research more reproducible and extensible. Existing evidence shows that adopting Open Science practices has effects in several domains. In this study, we investigate whether adopting one or more Open Science practices leads to significantly higher citations for an associated publication, which is one form of academic impact. We use a novel dataset known as Open Science Indicators, produced by PLOS and DataSeer, which includes all PLOS publications from 2018 to 2023 as well as a comparison group sampled from the PMC Open Access Subset. In total, we analyze circa 122'000 publications. We calculate publication and author-level citation indicators and use a broad set of control variables to isolate the effect of Open Science Indicators on received citations. We show that Open Science practices are adopted to different degrees across scientific disciplines. We find that the early release of a publication as a preprint correlates with a significant positive citation advantage of about 20.2% on average. We also find that sharing data in an online repository correlates with a smaller yet still positive citation advantage of 4.3% on average. However, we do not find a significant citation advantage for sharing code. Further research is needed on additional or alternative measures of impact beyond citations. Our results are likely to be of interest to researchers, as well as publishers, research funders, and policymakers.

研究の動機と目的

• Open Science実践（データ共有、コード共有、プレプリント）の採用が、刊行物の引用数の増加と関連しているかを評価する。
• 刊行物・著者・学問分野の要因を統制しつつ、各Open Science実践の引用影響を定量化する。
• 学問分野とデータ共有のモダリティによって影響がどのように異なるかを検討する。
• 再現性のある方法とデータを提供し、所見の再現・拡張を可能にする。

提案手法

• Open Science Indicators (OSI)データセットを使用する（PLOS 2018–2023の約12.2万件の刊行物とPMC OA Subsetを比較対象とする）。
• 引用源としてPMC OA Subsetを用いて、刊行物レベルおよび著者レベルの引用指標を算出する。
• OSI指標と広範な統制変数（年、月、著者数、参考文献数、h_index_mean、ジャーナル、ANZSRC部門のダミー変数）に基づいて、対数変換した刊行物引用数をモデル化する。
• 従属変数としてlog(n_cit_tot+1)を用い、ベースモデルとフルモデル（OLSおよびロバスト）を推定する。
• preprint_match、data_shared/location/repositories_data、code_shared/location、部門指標を主要な独立変数として含める。
• 逆変換係数（弾性）を通じて効果をパーセンテージで報告する。
• モデル仕様と時間窓（1〜3年の引用窓）を跨るロバスト性を評価する。
• 再現性のためデータとコードを公開する。

実験結果

リサーチクエスチョン

• RQ1 混乱因子を統制した上で、Open Science実践（データ共有、コード共有、プレプリント）が刊行物の引用数の増加と関連するか？
• RQ2 データ共有、コード共有、プレプリントの効果は、学問分野およびデータ共有モダリティによってどのように異なるか？
• RQ3 複数のOpen Science実践が同時に採用されたときに累積効果はあるか？
• RQ4 これらの知見の限界と、PLOS/オープンアクセス文脈を超えた一般化可能性は？

主な発見

• プレプリントは約20.2%（±0.7）の有意な引用優位性と関連している。
• オンラインリポジトリでデータを共有することは約4.3%（±0.8）の引用優位性と関連している。
• このサンプルではコード共有は統計的に有意な引用優位性を生まない。
• 効果は累積的で、プレプリントとオンラインデータ共有の両方がある論文は引用が約24.5%増加する。
• 分野間のばらつきが顕著で、部門によって効果の大きさと有無に差がある。
• モデルは分散のかなりの部分を説明し、完全モデルのR2は約0.426である。