[论文解读] GitHub Repositories with Links to Academic Papers: Open Access, Traceability, and Evolution

Supatsara Wattanakriengkrai, Bodin Chinthanet+5 more|arXiv (Cornell University)|Apr 1, 2020

Software Engineering Research参考文献 30被引用 5

一句话总结

本研究分析了20,000个GitHub代码仓库，探讨学术论文与代码实现之间的关联，发现尽管引用学术论文的情况并不普遍，但大多数被引用的论文均为开放获取且可追溯，尤其在机器学习领域更为明显。研究揭示被引用论文的演化变化较低，双向链接有限，凸显了开放科学工作流中可重现性和可追溯性的不足。

ABSTRACT

Traceability between published scientific breakthroughs and their implementation is essential, especially in the case of Open Source Software implements bleeding edge science into its code. However, aligning the link between GitHub repositories and academic papers can prove difficult, and the link impact remains unknown. This paper investigates the role of academic paper references contained in these repositories. We conducted a large-scale study of 20 thousand GitHub repositories to establish prevalence of references to academic papers. We use a mixed-methods approach to identify Open Access (OA), traceability and evolutionary aspects of the links. Although referencing a paper is not typical, we find that a vast majority of referenced academic papers are OA. In terms of traceability, our analysis revealed that machine learning is the most prevalent topic of repositories. These repositories tend to be affiliated with academic communities. More than half of the papers do not link back to any repository. A case study of referenced arXiv paper shows that most of these papers are high-impact and influential and do align with academia, referenced by repositories written in different programming languages. From the evolutionary aspect, we find very few changes of papers being referenced and links to them.

研究动机与目标

• 调查学术论文在GitHub代码仓库中的引用普遍性。
• 评估被引用学术论文的开放获取（OA）状态。
• 评估仓库与论文之间链接的可追溯性。
• 分析被引用论文随时间推移的演化动态。

提出的方法

• 采用自动化挖掘与链接提取技术，对20,000个GitHub代码仓库进行大规模分析。
• 结合定量分析与定性案例研究，采用混合方法研究策略。
• 利用元数据与仓库内容分析，对被引用论文的OA状态进行分类。
• 通过检查论文是否反向引用仓库，追踪链接互惠性。
• 利用自然语言处理与主题建模，分析被引用论文的主题分布。
• 通过比较论文版本与更新频率，评估其随时间的演化模式。

实验结果

研究问题

• RQ1 GitHub代码仓库中学术论文的引用普遍性如何？
• RQ2 被引用学术论文的开放获取状态是什么？
• RQ3 仓库与论文之间的链接在双向可追溯性方面达到何种程度？
• RQ4 在被引用的论文中，哪些研究主题最为突出？
• RQ5 从版本控制与更新频率来看，被引用论文在时间维度上的演化特征如何？

主要发现

• 仅有极少数GitHub代码仓库引用学术论文，表明该行为并非普遍实践。
• 被引用的学术论文中绝大多数为开放获取，表明在代码实现中对开放获取内容存在强烈偏好。
• 机器学习是被引用论文中最常见的研究主题，且相关仓库多与学术机构相关。
• 超过一半的被引用学术论文未反向链接至任何GitHub代码仓库，表明存在单向可追溯性。
• 案例研究表明，被引用的arXiv论文通常具有高影响力，并在使用不同编程语言的多个仓库中被引用。
• 随着时间推移，被引用论文的变更极为有限，表明所链接的学术文献演化活动较低。