[论文解读] An Explorative Study of GitHub Repositories of AI Papers

Boyang Zhang|arXiv (Cornell University)|Feb 16, 2019

Scientific Computing and Data Management参考文献 7被引用 4

一句话总结

本项探索性研究分析了与人工智能论文相关的1,700多个GitHub代码库，揭示了代码质量差、文档缺失以及维护不足等广泛问题。作者指出，这些代码库往往变得不活跃且无法使用，阻碍了研究的可复现性，并加剧了学术界与工业界之间的差距，因此提出了改进人工智能研究中代码共享实践的建议。

ABSTRACT

With the rapid development of AI technologies, thousands of AI papers are being published each year. Many of these papers have released sample code to facilitate follow-up researchers. This paper presents an explorative study of over 1700 code repositories of AI papers hosted on GitHub. We find that these repositories are often poorly written, lack of documents, lack of maintenance, and hard to configure the underlying runtime environment. Thus, many code repositories become inactive and abandoned. Such a situation makes follow-up researchers hard to reproduce the results or do further research. In addition, these hard-to-reuse code makes a gap between academia and industry. Based on the findings, we give some recommendations on how to improve the quality of code repositories of AI papers.

研究动机与目标

• 调查与人工智能论文相关的代码库的质量与可持续性。
• 识别代码库维护、文档编写和代码结构方面的常见缺陷。
• 理解这些问题如何阻碍研究的可复现性并妨碍后续研究工作。
• 通过提升代码共享标准，弥合学术研究与工业实践之间的差距。

提出的方法

• 本研究分析了1,700个与主要会议发表的人工智能论文相关的GitHub代码库。
• 根据代码质量、文档完整性、维护活动以及环境配置难易程度对代码库进行评估。
• 分析内容包括检查README文件、代码结构、依赖管理以及提交频率。
• 采用定性评估方法对代码库的可维护性和可用性进行分类。
• 研究还分析了仓库年龄、贡献者数量和问题跟踪活动等元数据。
• 研究结果被整合为可供研究人员和机构实施的建议。

实验结果

研究问题

• RQ1 与人工智能论文相关的GitHub代码库维护状况如何？
• RQ2 这些代码库在多大程度上提供了充分的文档和环境配置说明？
• RQ3 哪些主要障碍阻碍了研究人员复现或扩展这些代码库中的工作？
• RQ4 不同人工智能子领域或发表会议的代码库在质量和可持续性方面有何差异？
• RQ5 如何通过系统性改进来提升人工智能研究中的代码复用与可复现性？

主要发现

• 分析了超过1,700个与人工智能论文相关的代码库，揭示了代码质量和可维护性方面存在广泛问题。
• 大量代码库缺乏必要的文档，导致其难以理解与使用。
• 许多代码库已处于不活跃状态，长期无新提交，表明在论文发表后即被放弃。
• 运行时环境的配置通常复杂且文档不全，严重阻碍了复现工作。
• 可维护性与可用性的缺乏构成了人工智能研究中可复现性的重大障碍。
• 这些缺陷加剧了学术研究与人工智能技术工业应用之间的差距。