[논문 리뷰] "Won't We Fix this Issue?" Qualitative Characterization and Automated Identification of Wontfix Issues on GitHub

Andrea Di Sorbo, Gerardo Canfora외 1명|arXiv (Cornell University)|2019. 04. 04.

Software Engineering Research참고 문헌 81인용 수 8

한 줄 요약

이 논문은 개발자들이 보고한 상태에도 불구하고 거부된 'wontfix' 이슈—GitHub에서의 이슈—에 대해 667개의 이슈에 대한 정성적 분석과 자연어 처리(NLP)를 활용한 자동 예측을 통해 연구한다. 이는 제목과 기술서술을 기반으로 한 기계학습 모델을 제안하여, 정밀도, 재현율, F-측정치 모두 90–93%의 높은 정확도로 wontfix 상태를 예측하며, 수작업 트리지에 소요되는 시간을 크게 줄인다.

ABSTRACT

Context: Addressing user requests in the form of bug reports and Github issues represents a crucial task of any successful software project. However, user-submitted issue reports tend to widely differ in their quality, and developers spend a considerable amount of time handling them. Objective: By collecting a dataset of around 6,000 issues of 279 GitHub projects, we observe that developers take significant time (i.e., about five months, on average) before labeling an issue as a wontfix. For this reason, in this paper, we empirically investigate the nature of wontfix issues and methods to facilitate issue management process. Method: We first manually analyze a sample of 667 wontfix issues, extracted from heterogeneous projects, investigating the common reasons behind a "wontfix decision", the main characteristics of wontfix issues and the potential factors that could be connected with the time to close them. Furthermore, we experiment with approaches enabling the prediction of wontfix issues by analyzing the titles and descriptions of reported issues when submitted. Results and conclusion: Our investigation sheds some light on the wontfix issues' characteristics, as well as the potential factors that may affect the time required to make a "wontfix decision". Our results also demonstrate that it is possible to perform prediction of wontfix issues with high average values of precision, recall, and F-measure (90%-93%).

연구 동기 및 목표

• GitHub 이슈에서 wontfix 결정이 내려지는 이유를 이해함으로써, 이로 인해 해결이 지연되고 개발자 시간이 소모되는 문제를 해소하고자 한다.
• wontfix 이슈를 닫는 데 걸리는 시간에 영향을 주는 공통적인 특성과 요인을 규명하고자 하며, 평균 5개월의 기간을 포함한다.
• 제출 시점에 이슈가 wontfix로 분류될지를 예측하기 위한 자동화된 방법을 개발하고 평가하고자 한다.
• 이슈 트리지 과정에서 잠재력이 낮은 이슈를 조기에 식별함으로써 개발자의 부담을 줄이고자 한다.

제안 방법

• wontfix 이슈 패턴을 연구하기 위해 279개의 GitHub 프로젝트에서 약 6,000개의 이슈 데이터셋을 수집하였다.
• 다양한 프로젝트에서 667개의 wontfix 이슈에 대해 수작업 정성적 분석을 수행하여 거부 사유의 공통 요소를 파악하였다.
• 기계학습 모델 학습을 위해 이슈 제목과 기술서술에서 NLP 기법을 활용해 특징을 추출하였다.
• 표준 평가 지표(정밀도, 재현율, F-측정치)를 사용해 다양한 분류 모델의 성능을 평가하였다.
• 제출 시점에만 텍스트 기반으로 wontfix 상태를 조기에 예측하는 데에 집중하였다.
• 일반화 능력을 향상시키기 위해 어휘적, 문법적, 의미적 특징의 조합을 사용하였다.

실험 결과

연구 질문

• RQ1 개발자들이 이슈를 wontfix로 분류하는 주요 이유는 무엇이며, 이는 프로젝트 간에 어떻게 다를까?
• RQ2 wontfix 상태로의 결정까지 소요되는 시간에 영향을 주는 이슈 보고서의 특성은 무엇인가?
• RQ3 이슈의 텍스트 내용(제목과 기술서술)이 최종 wontfix 분류를 얼마나 잘 예측할 수 있는가?
• RQ4 다양한 기계학습 모델이 이니셜 이슈 메타데이터만을 사용해 wontfix 이슈를 예측할 때 어떤 성능을 보이는가?
• RQ5 wontfix 이슈를 조기에 예측함으로써 오픈소스 프로젝트에서 이슈 트리지에 소요되는 시간과 노력은 어떻게 줄일 수 있는가?

주요 결과

• 개발자들이 이슈를 wontfix로 분류하는 데 평균 약 5개월이 소요되며, 이는 결정 과정의 상당한 지연을 의미한다.
• wontfix 결정의 가장 흔한 이유는 '범위 외', '버그 아님', '수정하지 않음', '중복'이며, 이는 프로젝트 간에 다소 차이를 보인다.
• 본 연구는 기계학습 모델이 높은 정확도로 wontfix 상태를 예측할 수 있음을 입증하며, F-측정치는 90%에서 93% 사이를 기록한다.
• 이슈 제목과 기술서술의 자연어에서 유도된 특징은 최종 wontfix 상태 예측에 매우 유용하다.
• 모델의 성능은 다양한 GitHub 프로젝트에서 높은 수준을 유지하여 다른 오픈소스 생태계로의 일반화 가능성도 시사한다.
• wontfix 이슈를 조기에 예측하면 자동 트리지 및 잠재력이 낮은 보고서의 걸러내기를 통해 개발자의 부담을 크게 줄일 수 있다.