[論文レビュー] The Rise of Open Science: Tracking the Evolution and Perceived Value of Data and Methods Link-Sharing Practices

Hancheng Cao, Jesse Dodge+3 more|arXiv (Cornell University)|Oct 4, 2023

Scientific Computing and Data Management被引用数 5

ひとこと要約

本研究は、arXiv に掲載された110万件のコンピュータサイエンス、物理学、数学分野の論文を対象に、ニューラルテキスト分類モデルを用いてURLの種別を同定することで、データおよび手法のリンク共有の進化と認識される価値を分析した。研究では、時間経過に伴うリンク共有の採用が増加し、特にGitHubにおけるリンクの再利用が拡大していること、また、活動中のデータ／手法リンクを共有する論文は、リンクが非活動的または欠落している論文よりも著しく高い引用数を獲得していることが判明した。これは、オープンサイエンスの実践に対する機関的および学術的価値の上昇を示している。

ABSTRACT

In recent years, funding agencies and journals increasingly advocate for open science practices (e.g. data and method sharing) to improve the transparency, access, and reproducibility of science. However, quantifying these practices at scale has proven difficult. In this work, we leverage a large-scale dataset of 1.1M papers from arXiv that are representative of the fields of physics, math, and computer science to analyze the adoption of data and method link-sharing practices over time and their impact on article reception. To identify links to data and methods, we train a neural text classification model to automatically classify URL types based on contextual mentions in papers. We find evidence that the practice of link-sharing to methods and data is spreading as more papers include such URLs over time. Reproducibility efforts may also be spreading because the same links are being increasingly reused across papers (especially in computer science); and these links are increasingly concentrated within fewer web domains (e.g. Github) over time. Lastly, articles that share data and method links receive increased recognition in terms of citation count, with a stronger effect when the shared links are active (rather than defunct). Together, these findings demonstrate the increased spread and perceived value of data and method sharing practices in open science.

研究の動機と目的

• 物理学、数学、コンピュータサイエンス分野の科学的論文におけるデータおよび手法のリンク共有実践の進化を追跡すること。
• 時間経過に伴うデータおよび手法のリンク共有の採用率と再利用パターンを定量化すること。
• 引用インパクトとの相関関係を検討することで、リンク共有の認識される価値を評価すること。
• Webドメイン（例：GitHub）がリンク共有活動を集約する役割を特定すること。

提案手法

• 文脈的記述（例：'data'、'code'、'method'）に基づき、論文内のURLを自動的に分類するためのニューラルテキスト分類モデルを訓練した。
• コンピュータサイエンス、物理学、数学分野のarXivから抽出した110万件の論文からなる大規模データセットに、そのモデルを適用した。
• リンク共有頻度、論文間での再利用、ドメイン集約（例：GitHub、Zenodo）の時間的傾向を追跡した。
• データ／手法リンクを共有する論文の引用インパクトを測定し、活動中のリンクと非活動中のリンクを比較した。
• 引用数などの論文受容度とリンク共有実践の相関関係を統計的分析により検証した。

実験結果

リサーチクエスチョン

• RQ1 arXivの科学的論文におけるデータおよび手法のリンク共有率は、時間経過とともにどのように変化したか？
• RQ2 共有されたデータおよび手法のリンクは、他の論文でどの程度再利用されており、その再利用は時間経過とともにどのように変化したか？
• RQ3 データおよび手法をホスティングするために最も頻繁に使用されるWebドメインは何か、またその集中度はどのように変化したか？
• RQ4 リンク共有と引用インパクトの関係は何か、特に活動中のリンクと非活動中のリンクを比較した場合にどうなるか？
• RQ5 コンピュータサイエンス、物理学、数学の分野におけるリンク共有実践には、どのような相違があるか？

主な発見

• データおよび手法のリンクを共有する論文の割合は、時間経過とともに著しく増加しており、特にコンピュータサイエンス分野で顕著である。
• 共有されたリンクは論文間でますます再利用されており、再現可能性の高い研究実践への採用が拡大していることを示している。
• リンク共有は、より少ないWebドメインに集中しつつあり、特にGitHubが手法およびデータ共有の主要プラットフォームとして顕著に浮上している。
• 活動中のデータおよび手法リンクを共有する論文は、非活動的またはリンクの欠落している論文よりも著しく高い引用数を獲得している。
• 活動中のリンクの影響が顕著であるため、リンクの品質と持続可能性が、学術的価値の認識において極めて重要であると考えられる。