[논문 리뷰] On How Developers Test Open Source Software Systems

Andy Zaidman, Bart Van Rompaey외 2명|arXiv (Cornell University)|2007. 05. 24.

Software Engineering Research참고 문헌 24인용 수 3

한 줄 요약

이 연구는 세 개의 프로젝트에서 버전 관리, 코드 커버리지 및 크기 메트릭을 분석하여 오픈 소스 소프트웨어에서의 테스트 관행을 조사한다. 연구 결과, 테스트 활동은 일반적으로 개발의 후반부에 시작되며 단계적으로 진행되며, 테스트 커버리지와 코드베이스 크기의 변동에도 불구하고 릴리스 이전에 일관된 증가가 없음을 발견하였다.

ABSTRACT

Engineering software systems is a multidisciplinary activity, whereby a number of artifacts must be created - and maintained - synchronously. In this paper we investigate whether production code and the accompanying tests co-evolve by exploring a project's versioning system, code coverage reports and size-metrics. Three open source case studies teach us that testing activities usually start later on during the lifetime and are more "phased", although we did not observe increasing testing activity before releases. Furthermore, we note large differences in the levels of test coverage given the proportion of test code.

연구 동기 및 목표

• 오픈 소스 시스템에서 테스트 관행이 생산 코드와 함께 어떻게 공진화하는지 이해한다.
• 릴리스 이전에 테스트 활동이 증가하는지 조사한다.
• 프로젝트 라이프사이클 전반에서 테스트 코드량과 테스트 커버리지 간의 관계를 분석한다.
• 버전 관리 및 커버리지 데이터를 활용하여 테스트 활동의 시간적 패턴을 탐색한다.
• 테스트가 개발 과정의 초기에 통합되는 정도와 후기 단계에서 이루어지는 정도를 평가한다.

제안 방법

• 세 개의 오픈 소스 프로젝트의 버전 관리 이력을 분석하여 시간에 따른 코드 및 테스트 변경 사항을 추적한다.
• 코드 커버리지 보고서를 수집하고 평가하여 테스트의 효과성과 커버리지 추세를 측정한다.
• 크기 메트릭(예: 코드 라인 수, 테스트 라인 수)을 추출하여 테스트 노력이 생산 코드 대비 어떻게 비교되는지 분석한다.
• 개발 마일스톤과 릴리스 주기 동안 테스트 코드와 생산 코드의 진화를 매핑한다.
• 테스트 커밋의 시간적 군집을 분석하여 테스트 활동의 단계를 식별한다.
• 통계 분석을 활용하여 테스트 활동과 릴리스 일정, 코드 변경 사항 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 오픈 소스 프로젝트에서 릴리스 이전에 테스트 활동이 증가하는가?
• RQ2 프로젝트 라이프사이클 전반에서 테스트 코드 비율은 실제 테스트 커버리지와 어떻게 관련이 있는가?
• RQ3 테스트 활동은 일반적으로 개발 시작 시점과 비교해 언제 시작되는가?
• RQ4 주요 개발 단계와 일치하는 일관된 테스트 개발 패턴이 존재하는가?
• RQ5 테스트 커버리지와 테스트 코드량은 생산 코드 변경과 어떻게 연관하여 변화하는가?

주요 결과

• 일반적으로 테스트 활동은 프로젝트 라이프사이클의 후반부에 시작되며, 초기에 통합되지 않는다.
• 테스트 개발은 종종 단계적으로 진행되며, 일관된 속도로 이루어지지 않고 특정 간격에 집중된 테스트 커밋 클러스터가 나타난다.
• 릴리스 이전에 테스트 활동이 일관되게 증가하는 경향이 없었으며, 이는 릴리스 전 테스트 증가 가정을 반박한다.
• 유사한 테스트 코드 비율에도 불구하고 프로젝트 간에 테스트 커버리지에 큰 차이가 존재한다.
• 테스트 코드 대비 생산 코드 비율은 테스트 커버리지 수준을 신뢰성 있게 예측하지 못한다.
• 생산 코드와 테스트 간의 공진화는 약하며, 이는 테스트가 종종 사전에 계획하기보다는 반응적으로 추가된다는 것을 시사한다.