[논문 리뷰] An Empirical Comparative Study of Checklist based and Ad Hoc Code Reading Techniques in a Distributed Groupware Environment

Olalekan S. Akinola, Adenike Osofisan|ArXiv.org|2009. 09. 23.

Software Engineering Research참고 문헌 27인용 수 3

한 줄 요약

이 경험적 연구는 20명의 컴퓨터 과학 학부생을 대상으로 분산형 그룹웨어 환경에서 체크리스트 기반 및 임의의 코드 리뷰 기법을 비교한다. 결과는 두 방법 간 결함 탐지 효과성, 소요 시간, 거짓 양성 비율에 유의미한 차이가 없음을 보여주며, 이는 둘 다 분산 환경에서 동일하게 효과적임을 시사한다.

ABSTRACT

Software inspection is a necessary and important tool for software quality assurance. Since it was introduced by Fagan at IBM in 1976, arguments exist as to which method should be adopted to carry out the exercise, whether it should be paper based or tool based, and what reading technique should be used on the inspection document. Extensive works have been done to determine the effectiveness of reviewers in paper based environment when using ad hoc and checklist reading techniques. In this work, we take the software inspection research further by examining whether there is going to be any significant difference in defect detection effectiveness of reviewers when they use either ad hoc or checklist reading techniques in a distributed groupware environment. Twenty final year undergraduate students of computer science, divided into ad hoc and checklist reviewers groups of ten members each were employed to inspect a medium sized java code synchronously on groupware deployed on the Internet. The data obtained were subjected to tests of hypotheses using independent T test and correlation coefficients. Results from the study indicate that there are no significant differences in the defect detection effectiveness, effort in terms of time taken in minutes and false positives reported by the reviewers using either ad hoc or checklist based reading techniques in the distributed groupware environment studied.

연구 동기 및 목표

• 체크리스트 기반 코드 리뷰가 분산형 그룹웨어 환경에서 임의의 리뷰보다 더 효과적인지 조사하기.
• 협업적이고 도구 지원 환경에서 리뷰 기법이 결함 탐지 효과성에 미치는 영향 평가하기.
• 분산 환경에서 체크리스트 리뷰와 임의의 리뷰 방법 간 시간 노력 및 거짓 양성 비율 비교하기.
• 이전의 종이 기반 코드 점검 연구를 분산형, 그룹웨어 기반 환경으로 확장하기.
• 분산 소프트웨어 개발 팀이 코드 리뷰 기법을 선택할 때 근거 기반 지침 제공하기.

제안 방법

• 20명의 최종학년 컴퓨터 과학 학부생이 두 그룹으로 나뉘었으며, 한 그룹은 체크리스트 기반 리뷰를, 다른 그룹은 임의의 리뷰를 수행하였다.
• 중간 크기의 자바 코드베이스가 인터넷 기반의 그룹웨어 도구를 통해 동기적으로 점검되었다.
• 각 리뷰어의 결함 탐지 효과성, 소요 시간(분), 거짓 양성 보고 수를 기록하였다.
• 체크리스트 기반 리뷰와 임의의 리뷰 간 결함 탐지, 노력, 거짓 양성 비율의 평균을 비교하기 위해 독립표본 t-검정을 사용하였다.
• 변수 간 상관관계를 평가하기 위해 피어슨 상관계수를 계산하였다.
• 두 기법 간 상대적 우수성에 대한 가설을 검증하기 위해 데이터를 수집하고 분석하였다.

실험 결과

연구 질문

• RQ1 분산형 그룹웨어 환경에서 체크리스트 기반 리뷰와 임의의 리뷰 간 결함 탐지 효과성에 유의미한 차이가 있는가?
• RQ2 체크리스트 사용이 분산 환경에서 임의의 리뷰 대비 코드 점검에 소요되는 시간을 줄이는가?
• RQ3 이 환경에서 체크리스트 리뷰와 임의의 리뷰 기법 간 거짓 양성 결함 보고 수에 유의미한 차이가 있는가?
• RQ4 그룹웨어 도구를 사용할 때 두 기법 간 리뷰어 성과에 통계적으로 유의미한 차이가 있는가?
• RQ5 그룹웨어 환경의 분산 성격이 체크리스트 대 임의의 리뷰 기법의 상대적 효과성에 영향을 미치는가?

주요 결과

• 체크리스트 기반 리뷰와 임의의 리뷰 간 결함 탐지 효과성에 통계적으로 유의미한 차이가 없었다(p > 0.05).
• 두 기법 간 점검 완료에 소요된 시간에 유의미한 차이가 없었다(p > 0.05).
• 체크리스트 리뷰어와 임의의 리뷰어 간 거짓 양성 결함 보고 수에 유의미한 차이가 없었다(p > 0.05).
• 상관계수 분석 결과, 결함 탐지 효과성과 소요 시간 또는 거짓 양성 비율 간 강한 선형 관계가 없었다.
• 결과는 이 연구에서 분석한 분산형 그룹웨어 환경에서 두 기법이 핵심 점검 지표 측면에서 동등하게 작동함을 시사한다.
• 이 특정 맥락에서 체크리스트 기반 리뷰가 임의의 리뷰보다 측정 가능한 이점이 있음을 뒷받침할 증거가 없다.