[논문 리뷰] GitHub Repositories with Links to Academic Papers: Open Access, Traceability, and Evolution

Supatsara Wattanakriengkrai, Bodin Chinthanet외 5명|arXiv (Cornell University)|2020. 04. 01.

Software Engineering Research참고 문헌 30인용 수 5

한 줄 요약

이 연구는 학술 논문과 코드 구현 간의 연관성을 분석하기 위해 20,000개의 GitHub 리포지터리에서 분석을 수행하였으며, 학술 논문을 인용하는 것은 흔하지 않지만, 대부분의 인용된 논문은 오픈 액세스이며 추적 가능하며, 특히 머신러닝 분야에서 두드러지게 나타남을 발견하였다. 연구 결과, 인용된 논문의 진화적 변화는 낮고, 双방향 링크는 제한적으로 존재하여 오픈 사이언스 워크플로우에서 재현 가능성과 추적 가능성의 격차가 드러남을 보여줌.

ABSTRACT

Traceability between published scientific breakthroughs and their implementation is essential, especially in the case of Open Source Software implements bleeding edge science into its code. However, aligning the link between GitHub repositories and academic papers can prove difficult, and the link impact remains unknown. This paper investigates the role of academic paper references contained in these repositories. We conducted a large-scale study of 20 thousand GitHub repositories to establish prevalence of references to academic papers. We use a mixed-methods approach to identify Open Access (OA), traceability and evolutionary aspects of the links. Although referencing a paper is not typical, we find that a vast majority of referenced academic papers are OA. In terms of traceability, our analysis revealed that machine learning is the most prevalent topic of repositories. These repositories tend to be affiliated with academic communities. More than half of the papers do not link back to any repository. A case study of referenced arXiv paper shows that most of these papers are high-impact and influential and do align with academia, referenced by repositories written in different programming languages. From the evolutionary aspect, we find very few changes of papers being referenced and links to them.

연구 동기 및 목표

• GitHub 리포지터리 내 학술 논문 인용의 빈도를 조사하기 위해.
• 인용된 학술 논문의 오픈 액세스(OA) 상태를 평가하기 위해.
• 리포지터리와 논문 간 링크의 추적 가능성을 평가하기 위해.
• 시간에 따른 인용된 논문의 진화적 동태를 분석하기 위해.

제안 방법

• 자동화된 마이닝 및 링크 추출 기법을 사용하여 20,000개의 GitHub 리포지터리에 대한 대규모 분석을 수행함.
• 정량적 분석과 정성적 케이스 스터디를 융합한 혼합 방법론을 적용함.
• 메타데이터 및 리포지터리 컨텐츠 분석을 통해 인용된 논문의 OA 상태를 분류함.
• 논문이 리포지터리로 다시 링크하는지 여부를 확인하여 상호 링크성(링크 상호성)을 추적함.
• NLP 및 토픽 모델링을 활용하여 인용된 논문의 주제 분포를 분석함.
• 논문의 버전 비교 및 시간에 따른 업데이트 빈도를 분석하여 진화 패턴을 평가함.

실험 결과

연구 질문

• RQ1 GitHub 리포지터리 내 학술 논문 인용은 얼마나 흔한가?
• RQ2 인용된 학술 논문의 오픈 액세스 상태는 어떠한가?
• RQ3 리포지터리와 논문 간 양방향으로 링크가 얼마나 추적 가능한가?
• RQ4 인용된 논문 중에서 가장 빈번하게 등장하는 연구 주제는 무엇인가?
• RQ5 시간이 지남에 따라 인용된 논문은 어떤 방식으로 진화하는가(버전 관리 및 업데이트 측면에서)?

주요 결과

• GitHub 리포지터리 중 일부만이 학술 논문을 인용하고 있어, 인용이 일반적인 관행은 아님을 시사함.
• 인용된 학술 논문의 대부분은 오픈 액세스(OA) 상태이며, 코드 구현에서 OA 자료를 선호하는 경향이 뚜렷함.
• 머신러닝 분야에서 가장 빈번하게 인용되며, 대부분의 리포지터리가 학술 기관과 연관되어 있음.
• 인용된 학술 논문의 50퍼센트 이상이 어떤 GitHub 리포지터리로도 돌아가지 않아, 단방향 추적 가능성임을 나타냄.
• 케이스 스터디 결과, 인용된 arXiv 논문은 일반적으로 영향력이 크며, 다양한 프로그래밍 언어로 작성된 리포지터리에서 공통으로 인용됨.
• 시간이 지나도 인용된 논문에 대한 변화가 거의 관찰되지 않아, 연결된 학술 문헌의 진화 활동이 낮음