[논문 리뷰] On the impact of pull request decisions on future contributions

Damien Legay, Alexandre Decan외 1명|arXiv (Cornell University)|2018. 12. 15.

Software Engineering Research참고 문헌 14인용 수 5

한 줄 요약

이 연구는 오픈소스 프로젝트에서 풀 리퀘스트(PR) 결정—수락, 기각, 또는 무응답—이 향후 기여에 어떤 영향을 미치는지 조사한다. 쿠버네티스, 려일즈, 안시블의 세 개의 대규모 GitHub 프로젝트에서 수집한 PR 데이터를 대상으로 생존 분석을 수행한 결과, 높은 PR 수락률은 향후 기여를 증가시키는 반면, 기각은 후속 기여의 가능성을 크게 감소시키는 것으로 나타났다. 이는 유지보수자들이 반응성 있고 격려하는 태도를 취할 필요성을 강조한다.

ABSTRACT

The pull-based development process has become prevalent on platforms such as GitHub as a form of distributed software development. Potential contributors can create and submit a set of changes to a software project through pull requests. These changes can be accepted, discussed or rejected by the maintainers of the software project, and can influence further contribution proposals. As such, it is important to examine the practices that encourage contributors to a project to submit pull requests. Specifically, we consider the impact of prior pull requests on the acceptance or rejection of subsequent pull requests. We also consider the potential effect of rejecting or ignoring pull requests on further contributions. In this preliminary research, we study three large projects on extsf{GitHub}, using pull request data obtained through the extsf{GitHub} API, and we perform empirical analyses to investigate the above questions. Our results show that continued contribution to a project is correlated with higher pull request acceptance rates and that pull request rejections lead to fewer future contributions.

연구 동기 및 목표

• 오픈소스 소프트웨어 프로젝트에서 이전 풀 리퀘스트(PR) 결정이 향후 기여 행동에 어떤 영향을 미치는지 이해하기.
• PR 기각 또는 장기간 무응답(응답 없음)한 PR이 기여자들이 향후 PR을 제출하는 것을 막는지 여부를 검토하기.
• 실제 데이터를 활용하여 PR 수락 및 기각 비율이 지속적인 기여 가능성에 미치는 영향을 정량화하기.
• 풀 기반 개발 워크플로우에서 기여자 유지를 영향을 미치는 사회적 및 행동적 역학에 대해 프로젝트 유지보수자들에게 통찰을 제공하기.

제안 방법

• 쿠버네티스, 려일즈, 안시블의 세 개의 대규모이고 장기적으로 운영되는 오픈소스 프로젝트에서 GitHub API를 통해 수집한 풀 리퀘스트 데이터의 실증적 분석.
• 이전 PR 수락/기각 비율 및 첫 기여 이후 경과 시간을 예측 변수로 사용하여 다음 PR 제출까지의 시간을 모델링하기 위해 생존 분석 기법 적용.
• 기여자들을 PR 수락률 백분위수 기준으로 분류하여 일관된 수락이 향후 기여 가능성에 미치는 영향 평가.
• PR 연령 분석을 통해 시간이 지남에 따라 수락되거나 기각된 PR 비율을 평가하고, 기각 가능성이 높아지는 임계점 식별.
• 각 예측 변수(예: 수락률, 이전 PR 수, 첫 PR 이후 경과 일수)가 새로운 PR 제출 확률에 미치는 영향을 정량화하기 위해 위험비(hazard ratio) 사용.
• 무기한으로 열려 있는 PR은 분석에서 제외하여 명확한 결과(수락/기각)를 가진 결정에 집중하며, GitHub API 상태 정확도의 잠재적 한계를 인정함.

실험 결과

연구 질문

• RQ1 RQ1: 동일한 기여자가 이전에 제출한 PR이 PR 수락 및 기각 비율에 어떤 영향을 미치는가?
• RQ2 RQ2: PR 수락 또는 기각이 향후 기여 가능성에 어느 정도의 영향을 미치는가?
• RQ3 RQ3: 장기간 열려 있는 PR은 향후 기여에 어떤 영향을 미치는가?

주요 결과

• 기여자들의 이전 PR 수락률이 높을수록 향후 PR 제출 가능성이 뚜렷이 높아지며, 쿠버네티스에서 수락률이 10%p 증가할수록 새로운 PR 제출의 위험비(hazard)는 1.0774배 증가한다.
• 기여자가 제출한 각 이전 PR은 새로운 PR 제출의 위험비를 1.0032배 증가시키며, 경험과 익숙함의 누적적 긍정적 영향을 시사한다.
• PR이 오랫동안 열려 있을수록 결국 기각될 가능성이 높아지며, 이 전환점은 안시블 28일, 려일즈 5일, 쿠버네티스 25일로 확인되었다.
• PR 기각은 향후 기여 가능성을 감소시키며, 이는 기각이 기여자들을 실망시키는 요인로 작용함을 시사한다.
• PR가 기각된 기여자는 수락된 기여자보다 새로운 PR을 제출할 가능성이 낮아, 기각이 기여자 유지에 직접적인 부정적 영향을 미친다는 것을 나타낸다.
• 기여자 첫 PR 이후 경과한 일수는 향후 기여 가능성에 약간의 부정적 영향을 미치며(일일로 0.9984의 위험비), 시간이 지남에 따라 참여도가 점차 감소함을 시사한다.