[논문 리뷰] An Explorative Study of GitHub Repositories of AI Papers

Boyang Zhang|arXiv (Cornell University)|2019. 02. 16.

Scientific Computing and Data Management참고 문헌 7인용 수 4

한 줄 요약

이 탐색적 연구는 주요 컨ferenced에 발표된 AI 논문과 연결된 1,700개 이상의 GitHub 리포지터리 분석을 통해 낮은 코드 품질, 문서 부족, 유지보수 부족과 같은 광범위한 문제를 규명한다. 저자들은 이러한 리포지터리가 자주 비활성화되고 사용 불가능해져 재현 가능성에 장애가 되고, 학계와 산업 간 격차를 키운다고 지적하며, AI 연구 분야의 코드 공유 관행을 향상시키기 위한 권고안을 제시한다.

ABSTRACT

With the rapid development of AI technologies, thousands of AI papers are being published each year. Many of these papers have released sample code to facilitate follow-up researchers. This paper presents an explorative study of over 1700 code repositories of AI papers hosted on GitHub. We find that these repositories are often poorly written, lack of documents, lack of maintenance, and hard to configure the underlying runtime environment. Thus, many code repositories become inactive and abandoned. Such a situation makes follow-up researchers hard to reproduce the results or do further research. In addition, these hard-to-reuse code makes a gap between academia and industry. Based on the findings, we give some recommendations on how to improve the quality of code repositories of AI papers.

연구 동기 및 목표

• AI 논문과 연결된 코드 리포지터리의 품질과 지속 가능성에 대해 조사한다.
• 리포지터리 유지보수, 문서화, 코드 구조에서 흔히 발생하는 결함을 특정한다.
• 이러한 문제가 재현 가능성에 어떻게 장애가 되고, 후속 연구를 방해하는지 이해한다.
• 연구자 간의 코드 공유 기준을 향상시켜 학계 연구와 산업 실천 간 격을 메운다.

제안 방법

• 이 연구는 주요 컨퍼런스에서 발표된 AI 논문과 연결된 1,700개의 GitHub 리포지터리 분석을 수행했다.
• 코드 품질, 문서 완전성, 유지보수 활동, 환경 설정 용이성 기준으로 리포지터리를 평가했다.
• README 파일 유무, 코드 구조, 종속성 관리, 커밋 빈도를 점검하는 분석을 포함했다.
• 유지보수성과 사용성 기준으로 리포지터리를 분류하기 위해 정성적 평가를 사용했다.
• 리포지터리 연령, 기여자 수, 이슈 추적 활동 등의 메타데이터를 분석했다.
• 결과를 종합하여 연구자 및 기관이 실천할 수 있는 실행 가능한 권고안으로 정리했다.

실험 결과

연구 질문

• RQ1 AI 논문과 연결된 GitHub 리포지터리의 유지보수 수준은 어느 정도인가?
• RQ2 이 리포지터리들이 충분한 문서화와 설치 지침을 제공하는 정도는 어느 정도인가?
• RQ3 이러한 리포지터리에서 연구자가 작업을 재현하거나 확장하는 것을 막는 주요 장애물은 무엇인가?
• RQ4 다양한 AI 하위 분야나 출판 장소 간에 이러한 리포지터리의 품질과 지속 가능성은 어떻게 비교되는가?
• RQ5 AI 연구에서 코드 재사용과 재현 가능성을 향상시키기 위해 어떤 체계적 개선이 가능할까?

주요 결과

• 1,700개 이상의 AI 논문 리포지터리가 분석되어 코드 품질과 유지보수성에 광범위한 문제를 드러냈다.
• 상당 수의 리포지터리가 핵심 문서를 누락하여 이해하고 사용하기 어려운 편이다.
• 많은 리포지터리가 비활성화되어 최근 커밋이 없어 출판 후 포기된 것으로 나타났다.
• 실행 환경 설정이 종종 복잡하고 문서화가 부족하여 재현 노력이 저해된다.
• 유지보수성과 사용성 부족은 AI 연구의 재현 가능성에 상당한 장애가 된다.
• 이러한 결함들은 학계 연구와 AI 기술의 산업 응용 간 격차를 더욱 키우는 데 기여한다.