[논문 리뷰] Quality of Open Source Systems from Product Metrics Perspective

Mamdouh Alenezi, Ibrahim Abunadi|arXiv (Cornell University)|2015. 11. 10.

Software Engineering Research참고 문헌 17인용 수 3

한 줄 요약

이 연구는 결함 밀도를 핵심 지표로 삼아 제품 메트릭을 사용하여 오픈 소스 소프트웨어 품질을 분석한다. 연구 결과, 더 큰 오픈 소스 시스템일수록 결함 밀도가 낮으며, 대부분의 메트릭이 버그 수와 정상 상관관계를 보이지만, 응집도 대 결합도 비율은 부정적 상관관계를 보이며, 이는 구조적 설계가 결함 발생 가능성에 영향을 준다는 것을 시사한다.

ABSTRACT

Software engineering and information systems practices seek ultimately to create the flawless product. One of the tools used to improve the quality of software development is the use of metrics. In this paper, metrics retrieved from open source software were analyzed for quality attributes. Defect density is considered a strong indication of the quality of software product. Few studies have taken into consideration the density of defects while looking into quality of software and proneness to defects. Analysis of this study has shown that defect density is relevant to different developers and different product sizes. Thus, open source project has shown to have low defect density and the larger the product the lower the defect density is. In addition, this study has shown that there are different metrics that correlate with each other indicating that some of these metrics have conceptual and practical relevance to each other. Another relationship was tested between the number of bugs and the metrics. Results indicated that most attributes had positive correlation with the number of bugs with exception to coupling between cohesion among methods of class.

연구 동기 및 목표

• 제품 메트릭을 사용하여 오픈 소스 소프트웨어의 품질을 평가하고, 특히 결함 밀도를 품질 지표로 삼는 것을 목표로 한다.
• 프로젝트 규모와 개발자 기여도에 따라 결함 밀도가 어떻게 변화하는지 조사한다.
• 소프트웨어 메트릭 간의 관계와 그들이 결함 발생 가능성에 미치는 영향을 규명한다.
• 다양한 코드 메트릭과 보고된 버그 수 간의 상관관계를 평가한다.

제안 방법

• 복잡도, 결합도, 응집도 및 크기 관련 속성을 포함한 오픈 소스 소프트웨어 프로젝트의 제품 메트릭을 수집한다.
• 소프트웨어 품질 평가를 위해 1,000줄의 코드당 결함 수로 결함 밀도를 측정한다(KLoC).
• 결함 밀도와 다양한 코드 메트릭 간의 상관관계를 분석하기 위해 통계적 분석을 적용한다.
• 보고된 버그 수와 결합도 및 응집도를 포함한 개별 메트릭 간의 관계를 테스트한다.
• 메트릭과 결함 수 간의 관계의 강도와 방향성을 파악하기 위해 이元 상관관계 분석을 사용한다.
• 데이터 가용성과 실제 적용 가능성 확보를 위해 오픈 소스 시스템에 집중한다.

실험 결과

연구 질문

• RQ1 다양한 규모의 오픈 소스 시스템에서 결함 밀도는 어떻게 변화하는가?
• RQ2 결합도 및 응집도와 같은 소프트웨어 메트릭과 보고된 버그 수 사이의 관계는 무엇인가?
• RQ3 오피스 소스 프로젝트에서 결함 밀도와 유의미한 상관관계를 보이는 제품 메트릭은 무엇인가?
• RQ4 개발자별 요소는 오픈 소스 시스템의 결함 밀도에 어떻게 영향을 미치는가?
• RQ5 구조적 코드 메트릭은 오픈 소스 소프트웨어에서 결함 발생 가능성을 얼마나 잘 예측하는가?

주요 결과

• 더 큰 오픈 소스 시스템일수록 낮은 결함 밀도를 보이며, 규모 증가에 따라 품질 향상이 이루어짐을 시사한다.
• 오픈 소스 프로젝트의 결함 밀도는 프라이버트 소프트웨어보다 유의미하게 낮으며, 내재된 품질 우수성의 증거로 볼 수 있다.
• 대부분의 코드 메트릭이 버그 수와 정상 상관관계를 보이며, 높은 값일수록 더 많은 결함이 발생함을 시사한다.
• 응집도 대 결합도 비율은 버그 수와 부정적 상관관계를 보이며, 더 나은 구조적 설계가 결함 발생 가능성을 낮춘다는 것을 의미한다.
• 복잡도 및 결합도와 같은 여러 메트릭이 서로 강한 개념적 및 실용적 관련성을 보인다.
• 이 연구는 오픈 소스 시스템에서 결함 밀도가 소프트웨어 품질의 신뢰할 수 있는 지표임을 확인한다.