[論文レビュー] Three Metrics to Explore the Openness of GitHub projects

Valerio Cosentino, Javier Luis Izquierdo+1 more|arXiv (Cornell University)|Sep 15, 2014

Open Source Software Innovations参考文献 10被引用数 12

ひとこと要約

本論文は、GitHub プロジェクトのオープンネスを測るための3つの指標を提案する：コミュニティ構成、外部寄稿の受入率、およびコラボレータとなるまでの時間。GitHub プロジェクトのサブセットに適用した結果、外部寄稿者がコラボレータとなるまでの中央値は147.83日であり、一部のプロジェクト（例：elasticSearch）では著しく長い遅延が見られ、外部寄稿の障壁が存在する可能性を示している。

ABSTRACT

Open source software projects evolve thanks to a group of volunteers that help in their development. Thus, the success of these projects depends on their ability to attract (and keep) developers. We believe the openness of a project, i.e., how easy is for a new user to actively contribute to it, can help to make a project more attractive. To explore the openness of a software project, we propose three metrics focused on: (1) the distribution of the project community, (2) the rate of acceptance of external contributions and (3) the time it takes to become an official collaborator of the project. We have adapted and applied these metrics to a subset of GitHub projects, thus giving some practical findings on their openness.

研究の動機と目的

• GitHub 上のオープンソースソフトウェアプロジェクトのオープンネスに影響を与える要因を特定・定量化すること。
• コミュニティの包摂性と寄稿への対応性を測ることで、プロジェクトメンテナーや開発者がプロジェクトの魅力を向上させることを支援すること。
• 外部寄稿者がより歓迎される寄稿プロセスを持つプロジェクトを特定するのを支援すること。
• プロジェクトガバナンスが開発者のオンボーディングおよびリテンションに与える影響について、データドリブンなインサイトを提供すること。

提案手法

• 3つの指標を提案：(1) プロジェクトメンバーと非メンバーの比率に基づくコミュニティ構成、(2) 外部寄稿の受入率および評価時間、(3) 初回寄稿から公式なコラボレータステータスに昇格するまでの時間。
• プルリクエスト、イシュー、コミット、ユーザ行動を含む108,718件のGitHubプロジェクトのデータセットを用いる。
• 管理行動（例：プルリクエストのマージ）を追跡することで、外部寄稿者として開始し、後に特権的行動をとるユーザーをコラボレータとして同定する。
• ユーザーの初回寄稿から初回の管理行動までの時間を、コラボレータとなるまでの時間の代理指標として計算する。
• 結果をプロジェクト全体で提示するために、統計解析および可視化（例：ボックスプロット）を実施する。
• 少なくとも1人の外部寄稿者がコラボレータとなったプロジェクトに限定して結果をフィルタリングし、有効な時間測定を保証する。

実験結果

リサーチクエスチョン

• RQ1 GitHub プロジェクトのコミュニティは、プロジェクトメンバーと外部寄稿者との間でどのように分布しているか？
• RQ2 外部寄稿の受入率はどの程度で、通常の評価期間はどのくらいか？
• RQ3 外部寄稿者がコラボレータステータスを獲得するまでにどのくらいの時間がかかるか？
• RQ4 異なるプロジェクト間でコラボレータステータスに至るまでの時間にどのようなばらつきがあり、どのようなパターンが浮かび上がるか？
• RQ5 これらの指標は、外部寄稿者に対してよりオープンで歓迎的なプロジェクトを特定するのを支援できるか？

主な発見

• オリジナルのGitHubプロジェクト全体において、外部寄稿者がコラボレータとなるまでの中央値は147.83日である。
• コラボレータとなるまでの時間の第一四分位数（Q1）は74.83日、第三四分位数（Q3）は225.05日であり、プロジェクト間で顕著なばらつきが存在することが示唆される。
• プロジェクト elasticSearch のコラボレータまでの時間は413.70日であり、四分位範囲外に位置し、外部寄稿者のオンボーディングプロセスが著しく遅いことが示唆される。
• 多くのプロジェクトでコラボレータステータスの付与に長期間の遅延が見られ、コミュニティ統合の障壁が存在する可能性を示している。
• 指標の分析から、多くのプロジェクトが活発な外部寄稿者を素早く認識・評価しないことが判明し、長期的な関与維持に悪影響を及える可能性がある。
• 本研究は、オープンネスが均一に分布しているのではなく、一部のプロジェクトが他のプロジェクトに比べて著しく外部寄稿者に対してアクセスしにくい状況にあることを示している。