[論文レビュー] An Explorative Study of GitHub Repositories of AI Papers

Boyang Zhang|arXiv (Cornell University)|Feb 16, 2019

Scientific Computing and Data Management参考文献 7被引用数 4

ひとこと要約

この探索的調査では、主要な国際会議で発表されたAI論文に関連付けられた1,700件以上のGitHubリポジトリを分析し、コード品質の低さ、ドキュメンテーション不足、メンテナンス不足といった広範な問題が明らかになった。著者らは、これらのリポジトリがしばしば非活動的になり、使用不能になることにより、再現可能性が阻害され、学術界と産業界の格差が広がっていることを特定し、AI研究におけるコード共有の実践を改善するための提言を提示している。

ABSTRACT

With the rapid development of AI technologies, thousands of AI papers are being published each year. Many of these papers have released sample code to facilitate follow-up researchers. This paper presents an explorative study of over 1700 code repositories of AI papers hosted on GitHub. We find that these repositories are often poorly written, lack of documents, lack of maintenance, and hard to configure the underlying runtime environment. Thus, many code repositories become inactive and abandoned. Such a situation makes follow-up researchers hard to reproduce the results or do further research. In addition, these hard-to-reuse code makes a gap between academia and industry. Based on the findings, we give some recommendations on how to improve the quality of code repositories of AI papers.

研究の動機と目的

• AI論文に関連するコードリポジトリの品質と持続可能性を調査すること。
• リポジトリのメンテナンス、ドキュメンテーション、コード構造における一般的な欠陥を同定すること。
• これらの問題が再現可能性をどのように阻害し、その後続研究を妨げているかを理解すること。
• コード共有基準の向上を通じて、学術研究と産業実践のギャップを埋めること。

提案手法

• 本研究では、主要な国際会議で発表されたAI論文に関連する1,700件のGitHubリポジトリを分析した。
• コード品質、ドキュメンテーションの完全性、メンテナンス活動、環境設定のしやすさに基づいてリポジトリを評価した。
• 分析には、READMEファイルの有無、コード構造、依存関係管理、コミット頻度の確認が含まれた。
• 保守性と利用可能性を分類するために定性的な評価が用いられた。
• リポジトリの年数、コントリビュータ数、イシュー追跡活動などのメタデータを調査した。
• 発見事項を統合し、研究者および機関向けの実行可能な提言にまとめた。

実験結果

リサーチクエスチョン

• RQ1 AI論文に関連するGitHubリポジトリは、どの程度適切にメンテナンスされているか？
• RQ2 これらのリポジトリは、十分なドキュメンテーションとセットアップ手順を提供しているか？
• RQ3 これらのリポジトリで研究を再現または拡張しようとする研究者が直面する主な障壁は何か？
• RQ4 AIの異なる分野や出版会議ごとに、これらのリポジトリの品質と持続可能性はどのように異なるか？
• RQ5 AI研究におけるコード再利用と再現可能性を向上させるために、どのようなシステム的改善が可能か？

主な発見

• 1,700件以上のAI論文リポジトリが分析され、コード品質と保守性に広範な問題が判明した。
• 多くのリポジトリが必須のドキュメンテーションを欠いており、理解や利用が困難であることがわかった。
• 多くのリポジトリが非活動的で、最近のコミットがなく、発表後に放棄されていることが判明した。
• 実行環境のセットアップが複雑で、ドキュメンテーションも不十分なことが多かったため、再現作業が妨げられていた。
• 保守性と利用可能性の欠如が、AI研究における再現可能性の大きな障壁となっている。
• これらの欠陥が、学術研究とAI技術の産業応用との間のギャップを拡大させている。