[논문 리뷰] Three Metrics to Explore the Openness of GitHub projects

Valerio Cosentino, Javier Luis Izquierdo외 1명|arXiv (Cornell University)|2014. 09. 15.

Open Source Software Innovations참고 문헌 10인용 수 12

한 줄 요약

이 논문은 GitHub 프로젝트의 개방성을 측정하기 위해 세 가지 지표를 제안한다: 커뮤니티 구성, 외부 기여 수락 비율, 그리고 협력자로 승격되는 데 걸리는 시간. 일부 GitHub 프로젝트에 적용한 결과, 외부 기여자가 협력자로 승격되는 데 중앙값으로 147.83일이 소요되었으며, 일부 프로젝트는 elasticSearch처럼 상당히 오랜 지연을 보여 외부 기여에 대한 잠재적 장벽을 시사한다.

ABSTRACT

Open source software projects evolve thanks to a group of volunteers that help in their development. Thus, the success of these projects depends on their ability to attract (and keep) developers. We believe the openness of a project, i.e., how easy is for a new user to actively contribute to it, can help to make a project more attractive. To explore the openness of a software project, we propose three metrics focused on: (1) the distribution of the project community, (2) the rate of acceptance of external contributions and (3) the time it takes to become an official collaborator of the project. We have adapted and applied these metrics to a subset of GitHub projects, thus giving some practical findings on their openness.

연구 동기 및 목표

• GitHub에서의 오픈소스 소프트웨어 프로젝트의 개방성에 영향을 주는 요인을 특정하고 정량화하는 것.
• 커뮤니티 포용성과 기여 반응성 측정을 통해 프로젝트 유지보수자가 프로젝트의 매력을 높일 수 있도록 돕는 것.
• 외부 기여자가 더 환영받는 기여 프로세스를 갖춘 프로젝트를 식별하는 데 도움을 주는 것.
• 프로젝트 거버넌스가 개발자 온보딩 및 유지를 어떻게 영향을 주는지에 대한 데이터 기반 통찰을 제공하는 것.

제안 방법

• 세 가지 지표 제안: (1) 프로젝트 구성원과 비구성원 기반의 커뮤니티 구성, (2) 외부 기여 수락 비율 및 평가 시간, (3) 첫 기여에서 공식 협력자 신분으로 승격되는 데 걸리는 시간.
• 풀 리퀘스트, 이슈, 커밋, 사용자 행동을 포함한 108,718개의 GitHub 프로젝트 데이터셋 사용.
• 관리 작업(예: 풀 리퀘스트 머지)을 추적하여, 외부 기여자로 시작해 나중에 특권이 부여된 사용자를 협력자로 간주.
• 사용자의 첫 기여와 첫 관리 작업 사이의 시간 간격을 협력자로 승격되는 데 걸리는 시간의 대체 지표로 계산.
• 통계 분석 및 시각화(예: 박스플롯)를 통해 프로젝트 간 결과를 제시.
• 최소한 한 명의 외부 기여자가 협력자로 승격된 프로젝트만을 필터링하여 유효한 시간 측정 보장.

실험 결과

연구 질문

• RQ1 GitHub 프로젝트의 커뮤니티는 프로젝트 구성원과 외부 기여자 사이에 어떻게 분포되어 있는가?
• RQ2 외부 기여는 어떤 비율로 수락되며, 평균적으로 평가에는 얼마나 오래 걸리는가?
• RQ3 외부 기여자가 협력자 신분을 얻는 데 얼마나 오래 걸리는가?
• RQ4 다양한 프로젝트 간 협력자 승격 시간에 어떤 변동성이 있으며, 어떤 패턴이 드러나는가?
• RQ5 이 지표들은 외부 기여자에게 더 개방적이고 환영받는 프로젝트를 식별하는 데 도움이 될 수 있는가?

주요 결과

• 원본 GitHub 프로젝트에서 외부 기여자가 협력자로 승격되는 데 걸리는 시간 중앙값은 147.83일이다.
• 협력자 승격 시간의 첫 번째 사분위수(Q1)는 74.83일, 세 번째 사분위수(Q3)는 225.05일로, 프로젝트 간에 상당한 변동성이 있음을 시사한다.
• elasticSearch 프로젝트의 협력자 승격 시간은 413.70일로 사분자구간을 벗어나 있어 외부 기여자의 온보딩 과정이 특히 느리다는 것을 시사한다.
• 많은 수의 프로젝트에서 협력자 자격 수여에 오랜 지연이 발생함으로써 커뮤니티 통합에 잠재적 장벽이 존재할 수 있음을 시사한다.
• 지표 분석 결과, 많은 프로젝트가 활발한 외부 기여자를 신속히 인정하거나 보상하지 않아 장기적 참여를 저해할 수 있음을 드러냈다.
• 이 연구는 개방성이 균일하게 분포되어 있지 않으며, 일부 프로젝트가 다른 프로젝트보다 외부 기여자에게 훨씬 더 접근하기 어려운 것으로 나타났다.