[論文レビュー] On the impact of pull request decisions on future contributions

Damien Legay, Alexandre Decan+1 more|arXiv (Cornell University)|Dec 15, 2018

Software Engineering Research参考文献 14被引用数 5

ひとこと要約

本研究では、プルリクエスト（PR）の意思決定—承認、却下、もしくは無反応—が、オープンソースプロジェクトにおける今後の貢献に与える影響を調査する。GitHubの3つの大規模プロジェクト（Kubernetes、Rails、Ansible）のPRデータを用いた生存分析の結果、PR承認率が高いほど今後の貢献が増加する傾向が認められ、一方で却下はその後の貢献の可能性を著しく低下させることが判明。これは、メンテナーや関係者による迅速かつ励ましとなる対応の重要性を示している。

ABSTRACT

The pull-based development process has become prevalent on platforms such as GitHub as a form of distributed software development. Potential contributors can create and submit a set of changes to a software project through pull requests. These changes can be accepted, discussed or rejected by the maintainers of the software project, and can influence further contribution proposals. As such, it is important to examine the practices that encourage contributors to a project to submit pull requests. Specifically, we consider the impact of prior pull requests on the acceptance or rejection of subsequent pull requests. We also consider the potential effect of rejecting or ignoring pull requests on further contributions. In this preliminary research, we study three large projects on extsf{GitHub}, using pull request data obtained through the extsf{GitHub} API, and we perform empirical analyses to investigate the above questions. Our results show that continued contribution to a project is correlated with higher pull request acceptance rates and that pull request rejections lead to fewer future contributions.

研究の動機と目的

• オープンソースソフトウェアプロジェクトにおける、過去のプルリクエスト（PR）意思決定が、今後の貢献行動に与える影響を理解すること。
• PRの却下や長期にわたる無反応（回答のないPR）が、今後のPR提出を妨げるかどうかを検討すること。
• 実証データを用いて、PR承認率・却下率の影響を、継続的貢献の可能性に定量的に評価すること。
• プルベース開発ワークフローにおける貢献者維持に影響を与える社会的・行動的ダイナミクスについて、プロジェクトメンテナーや関係者に示唆を提供すること。

提案手法

• GitHub APIを介して収集した、3つの大規模かつ長期にわたるオープンソースプロジェクト（Kubernetes、Rails、Ansible）のプルリクエストデータに対する実証的分析。
• 次のPR提出までの時間をモデル化する生存分析の手法を適用し、過去のPR承認／却下率や初回貢献からの経過時間といった予測子を用いる。
• 貢献者をPR承認率の百分位数に応じて分類し、一貫した承認が今後の貢献可能性に与える影響を評価する。
• PRの経過日数を分析し、時間の経過に伴ってPRが承認または却下される割合がどのように変化するかを評価し、却下されやすくなる閾値を特定する。
• ハザード比を用いて、各予測子（例：承認率、過去のPR件数、初回PRからの経過日数）が新しいPR提出確率に与える影響を定量的に評価する。
• 無期限に開かれたままのPRは、明確な結果（承認／却下）を持つものに限定して分析対象とする。GitHub APIのステータス情報の正確性に限界があることにも言及する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 同一貢献者が以前に提出したPRの影響により、PR承認率や却下率はどのように変化するか？
• RQ2 RQ2: PR承認または却下が、今後の貢献の可能性にどの程度影響を与えるか？
• RQ3 RQ3: 長期間にわたり開かれたままのPRは、今後の貢献にどの程度影響を与えるか？

主な発見

• 貢献者が過去に高い承認率を示した場合、今後のPR提出の可能性が著しく高くなる。Kubernetesでは、承認率が10%上昇すると、新しいPR提出のハザードが1.0774倍に増加する。
• 貢献者が過去に1件のPRを提出するごとに、新たなPR提出のハザードは1.0032倍に増加する。これは、経験や慣れの蓄積による累積的で肯定的な影響を示している。
• PRが長期間開かれたままの状態であるほど、最終的に却下される確率が高くなる。この変化の閾値は、Ansibleで28日、Railsで5日、Kubernetesで25日であった。
• PRの却下は、今後の貢献の可能性を低下させる。これは、却下が貢献者にとってのやる気を失わせる要因となることを示している。
• PRが却下された貢献者は、承認された貢献者よりも新たなPRを提出する可能性が低く、これは却下が貢献維持に直接的な悪影響を及ぼしていることを示している。
• 貢献者の初回PRからの経過日数は、今後の貢献可能性にわずかに負の影響を及ぼす（1日あたりハザード比0.9984）。これは、時間の経過に伴い参加意欲が徐々に低下する傾向があることを示している。