[論文レビュー] GitHub Repositories with Links to Academic Papers: Open Access, Traceability, and Evolution

Supatsara Wattanakriengkrai, Bodin Chinthanet+5 more|arXiv (Cornell University)|Apr 1, 2020

Software Engineering Research参考文献 30被引用数 5

ひとこと要約

本研究は、20,000件のGitHubリポジトリを分析し、学術論文とコード実装との間の関連を調査した。引用は一般的ではないが、引用された論文の多くはオープンアクセスであり、特に機械学習分野では追跡可能である。研究では、引用された論文の進化的変化が低く、双方向リンクが限定的であることが判明し、オープンサイエンスワークフローにおける再現性と追跡可能性のギャップを浮き彫りにした。

ABSTRACT

Traceability between published scientific breakthroughs and their implementation is essential, especially in the case of Open Source Software implements bleeding edge science into its code. However, aligning the link between GitHub repositories and academic papers can prove difficult, and the link impact remains unknown. This paper investigates the role of academic paper references contained in these repositories. We conducted a large-scale study of 20 thousand GitHub repositories to establish prevalence of references to academic papers. We use a mixed-methods approach to identify Open Access (OA), traceability and evolutionary aspects of the links. Although referencing a paper is not typical, we find that a vast majority of referenced academic papers are OA. In terms of traceability, our analysis revealed that machine learning is the most prevalent topic of repositories. These repositories tend to be affiliated with academic communities. More than half of the papers do not link back to any repository. A case study of referenced arXiv paper shows that most of these papers are high-impact and influential and do align with academia, referenced by repositories written in different programming languages. From the evolutionary aspect, we find very few changes of papers being referenced and links to them.

研究の動機と目的

• GitHubリポジトリにおける学術論文の引用の頻度を調査すること。
• 引用された学術論文のオープンアクセス（OA）状態を評価すること。
• リポジトリと論文の間のリンクの追跡可能性を評価すること。
• 時間経過に伴う引用された論文の進化的ダイナミクスを分析すること。

提案手法

• 自動マイニングとリンク抽出技術を用いて、20,000件のGitHubリポジトリを大規模に分析した。
• 定量的分析と定性的ケーススタディを組み合わせた混合手法を採用した。
• メタデータとリポジトリコンテンツ分析を用いて、引用された論文をOA状態で分類した。
• 論文がリポジトリを逆に引用しているかを確認することで、リンクの相互性を追跡した。
• 自然言語処理とトピックモデリングを用いて、引用された論文のトピック分布を分析した。
• 論文のバージョンと更新頻度の時間的変化を比較することで、進化パターンを評価した。

実験結果

リサーチクエスチョン

• RQ1 GitHubリポジトリにおける学術論文の引用はどの程度一般的か？
• RQ2 引用された学術論文のオープンアクセス状態はいかほどか？
• RQ3 リポジトリと論文の間のリンクは、双方の方向にどの程度追跡可能か？
• RQ4 どの研究分野の論文が引用において最も多く占めているか？
• RQ5 引用された論文は、バージョニングと更新の観点から、時間経過でどのように進化しているか？

主な発見

• GitHubリポジトリのわずか少数が学術論文を引用しており、これは引用が一般的な習慣ではないことを示している。
• 引用された学術論文の大部分がオープンアクセスであることが判明し、コード実装においてOAコンテンツへの強い傾向があることが示唆された。
• 機械学習分野が引用された論文の中で最も顕著で、多くのリポジトリが学術機関に所属していることが明らかになった。
• 引用された学術論文の半数以上が、いかなるGitHubリポジトリにも逆にリンクしていないため、一方向の追跡可能性であることが判明した。
• ケーススタディでは、引用されたarXiv論文が通常高影響力で、異なるプログラミング言語を用いたリポジトリで広く引用されていることが示された。
• 引用された論文における時間的変化は極めて少なく、リンクされた学術文献における進化的活動が低いことが判明した。