[논문 리뷰] Replication Can Improve Prior Results: A GitHub Study of Pull Request Acceptance

Di Chen, Kathyrn T. Stolee외 1명|arXiv (Cornell University)|2019. 02. 09.

Mobile Crowdsensing and Crowdsourcing참고 문헌 52인용 수 4

한 줄 요약

이 연구는 군중소싱과 데이터 마이닝을 활용하여 GitHub 풀리퀘스트 수락에 관한 질적 연구를 부분적으로 재현하고 확장한다. 원본 연구의 통찰을 190개의 풀리퀘스트로 구성된 더 큰 데이터셋에 적용함으로써, 저자들은 F1 스코어가 90%에 이르는 예측 모델을 구축하였다. 이는 원본 연구의 질적 요소보다 유의미하게 뛰어난 성능을 보이며, 혼합 방법론을 통한 재현이 이전 결과를 향상시킬 수 있음을 보여준다.

ABSTRACT

Crowdsourcing and data mining can be used to effectively reduce the effort associated with the partial replication and enhancement of qualitative studies. For example, in a primary study, other researchers explored factors influencing the fate of GitHub pull requests using an extensive qualitative analysis of 20 pull requests. Guided by their findings, we mapped some of their qualitative insights onto quantitative questions. To determine how well their findings generalize, we collected much more data (170 additional pull requests from 142 GitHub projects). Using crowdsourcing, that data was augmented with subjective qualitative human opinions about how pull requests extended the original issue. The crowd's answers were then combined with quantitative features and, using data mining, used to build a predictor for whether code would be merged. That predictor was far more accurate that one built from the primary study's qualitative factors (F1=90 vs 68\%), illustrating the value of a mixed-methods approach and replication to improve prior results. To test the generality of this approach, the next step in future work is to conduct other studies that extend qualitative studies with crowdsourcing and data mining.

연구 동기 및 목표

• 군중소싱과 데이터 마이닝을 활용한 부분적 재현이 풀리퀘스트 수락에 관한 주요 질적 연구의 예측 정확도를 향상시킬 수 있는지 테스트하기 위해.
• 기존의 질적 연구의 결과가 190개의 풀리퀘스트로 구성된 더 큰 데이터셋으로 확장되었을 때의 외부 타당성을 평가하기 위해.
• 질적 통찰에서 유도된 특징(군중소싱을 통한)과 문헌에서 유래한 정량적 특징 간의 예측 성능을 비교하기 위해.
• 소프트웨어 공학 연구에서 혼합 방법론의 가치를 입증하기 위해, 전문가의 통찰과 확장 가능한 데이터 수집 및 분석을 융합하기 위해.
• 비용 효율적이고 대규모 데이터 증강 및 데이터 마이닝을 통한 질적 연구의 확장에 유의미한 방법론을 구축하기 위해.

제안 방법

• 이 연구는 이전의 질적 연구(TDH)에서 도출된 통찰을 바탕으로, 풀리퀘스트 논의 특징과 그 수락에 미치는 영향을 중심으로 군중소싱을 위한 마이크로태스크 질문을 설계하였다.
• MTurk의 군중 작업자들이 원본 20개 외에도 추가로 170개의 풀리퀘스트를 평가하여, 요청이 원래 문제를 얼마나 잘 확장했는지에 대한 주관적 평가를 제공하였다.
• 군중소싱 결과는 예를 들어 댓글 수, 머지까지의 시간과 같은 정량적 메타데이터와 결합되어 종합적인 데이터셋을 형성하였다.
• 데이터 마이닝 기법을 적용하여 군중에서 유도된 특징과 문헌 기반 정량적 특징을 모두 사용해 풀리퀘스트 수락 예측 모델을 구축하였다.
• 품질 제어를 위해 골든 질문과 다수의 작업자에 의한 결과 집계를 통해 신뢰성을 확보하였다.
• 예측 성능 평가에는 F1 스코어를 사용하였으며, 군중 애너테이션 특징에 기반한 모델과 전통적인 정량적 지표에 기반한 모델 간의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 군중소싱을 활용하여 풀리퀘스트 수락에 관한 질적 연구의 부분적 재현을 효과적으로 확장할 수 있는가?
• RQ2 군중소싱 평가를 통해 검증된 질적 통찰이 소규모 샘플에서 유래한 것이지만, 더 큰 데이터셋으로 일반화되는가?
• RQ3 군중소싱 애너테이션에 대한 데이터 마이닝이 정량적 특징에만 기반한 모델보다 예측 정확도를 향상시킬 수 있는가?
• RQ4 군중소싱을 통해 유도된 질적 통찰 기반 모델의 예측 성능가, 기존에 알려진 정량적 지표 기반 모델과 비교해 어떻게 되는가?
• RQ5 혼합 방법론 기반 재현이 주요 질적 연구의 결과에 대한 탄력성과 정확도를 어느 정도 향상시킬 수 있는가?

주요 결과

• 군중소싱을 통해 확보한 질적 특징을 기반으로 구축한 예측 모델은 F1 스코어 90%를 기록하였으며, 원본 연구의 질적 요소에 기반한 모델의 68% F1 스코어를 뛰어넘었다.
• 문헌에서 유래한 정량적 특징에 기반한 모델은 원본 질적 통찰에만 기반한 모델보다 성능이 뛰어났지만, 군중소싱을 통한 강화 모델 역시 뛰어난 성능을 보였다.
• 군중소싱을 통해 원본 질적 연구의 핵심 통찰이 성공적으로 재현되었으며, 이는 확장된 스케일에서 통찰의 안정성과 외부 타당성을 시사한다.
• 연구는 풀리퀘스트 수락이 제출자의 이전 상호작용 수준과 논의의 역학성과 같은 요인에 영향을 받는다는 점을 확인하였으며, 이는 더 큰 데이터셋 전반에서 일관되게 관찰되었다.
• 군중 애너테이션 데이터에 대한 데이터 마이닝을 통해, 질적 분석만으로는 드러나지 않았던 새로운 실용적 예측 변수들이 발견되었으며, 이는 혼합 방법론의 가치를 입증한다.
• 결과는 군중소싱과 데이터 마이닝을 융합함으로써 소프트웨어 공학 분야의 주요 질적 연구 결과의 정확도와 탄력성을 향상시킬 수 있다는 추측을 지지한다.