[논문 리뷰] Product Backlog Rating: A Case Study On Measuring Test Quality In Scrum

Imrul Kayes, Mithun Sarker외 1명|arXiv (Cornell University)|2013. 10. 09.

Software Engineering Research참고 문헌 63인용 수 4

한 줄 요약

이 논문은 기능 복잡도와 테스트 평가 등급을 평가하여 테스트 과정의 질을 수량적으로 평가할 수 있도록 Product Backlog Rating (PBR) 지표를 제안한다. 이는 스크럼 환경에서 테스트 품질을 수치적 점수로 제공함으로써 테스트 과정의 질을 정량적으로 평가할 수 있도록 한다. 소프트웨어피플에서의 사례 연구를 바탕으로 PBR는 팀이 반복적으로 테스트 품질을 모니터링하고 향상시킬 수 있도록 하여 애자일 환경에서 프로세스 품질 관리에 실용적인 프레임워크를 제공한다.

ABSTRACT

Agile software development methodologies focus on software projects which are behind schedule or highly likely to have a problematic development phase. In the last decade, Agile methods have transformed from cult techniques to mainstream methodologies. Scrum, an Agile software development method, has been widely adopted due to its adaptive nature. This paper presents a metric that measures the quality of the testing process in a Scrum process. As product quality and process quality correlate, improved test quality can ensure high quality products. Also, gaining experience from eight years of successful Scrum implementation at SoftwarePeople, we describe the Scrum process emphasizing the testing process. We propose a metric Product Backlog Rating (PBR) to assess the testing process in Scrum. PBR considers the complexity of the features to be developed in an iteration of Scrum, assesses test ratings and offers a numerical score of the testing process. This metric is able to provide a comprehensive overview of the testing process over the development cycle of a product. We present a case study which shows how the metric is used at SoftwarePeople. The case study explains some features that have been developed in a Sprint in terms of feature complexity and potential test assessment difficulties and shows how PBR is calculated during the Sprint. We propose a test process assessment metric that provides insights into the Scrum testing process. However, the metric needs further evaluation considering associated resources (e.g., quality assurance engineers, the length of the Scrum cycle).

연구 동기 및 목표

• 스크럼에서 테스트 과정 품질을 측정하는 데 있어 중요한 문제이지만 종종 주관적인 요소가 되는 도전 과제를 해결하기 위해.
• 프로세스 품질과 제품 품질 간의 강한 상관관계를 감안할 때, 테스트 활동의 품질을 반영할 수 있는 정량적 지표를 개발하기 위해.
• 소프트웨어피플에서 8년간의 성공적인 스크럼 구현 경험을 바탕으로 지표를 실제 현장 실천에 기반을 두기 위해.
• 팀이 제품 개발 주기 전반에 걸쳐 테스트 품질을 모니터링하고 향상시킬 수 있도록 실용적이고 실행 가능한 프레임워크를 제공하기 위해.
• 스프린트 단위 지표와 연계된 피드백 메커니즘을 제공함으로써 애자일 테스트에서의 지속적인 개선을 지원하기 위해.

제안 방법

• PBR 지표는 제품 백로그에 포함된 기능의 복잡도와 각 기능에 할당된 테스트 평가 등급을 기반으로 계산된다.
• 테스트 평가 등급은 품질 보증 엔지니어가 테스트 커버리지, 테스트 설계 난이도, 테스트 실행 복잡도 등의 요소를 바탕으로 결정한다.
• 기능 복잡도는 기능적 종속성, 통합 포인트, 위험 수준 등의 사전 정의된 기준을 사용하여 평가된다.
• 지표는 각 스프린트당 개별 기능 평가를 종합하여 복합 점수로 집계함으로써 시간에 따른 추세 분석이 가능해진다.
• 이 방법은 실제 사례 연구를 통해 소프트웨어피플에서 적용되었으며, 여러 스프린트에 걸쳐 PBR 계산이 가능함을 보여준다.
• 팀이 약한 테스트 영역를 식별하고 테스트 전략을 조정할 수 있도록 허용함으로써 피드백 루프를 지원한다.

실험 결과

연구 질문

• RQ1 스크럼에서 테스트 품질을 정량적이고 실행 가능한 방식으로 측정할 수 있는 방법은 무엇인가?
• RQ2 스크럼 스프린트에서 기능의 테스트 복잡도에 기여하는 요소들은 무엇인가?
• RQ3 테스트 평가 등급은 어떻게 표준화되고, 이를 바탕으로 테스트 과정 품질의 복합 지표를 생성할 수 있는가?
• RQ4 PBR 지표는 스크럼 환경에서 테스트 과정의 총체적 효과성을 어느 정도 반영할 수 있는가?
• RQ5 PBR 지표는 애자일 테스트 관행에서의 지속적인 개선을 어떻게 지원할 수 있는가?

주요 결과

• Product Backlog Rating (PBR) 지표는 기능 복잡도와 테스트 평가 등급을 통합하여 단일 수치적 점수로 테스트 과정 품질을 성공적으로 정량화한다.
• 소프트웨어피플에서의 사례 연구는 PBR가 여러 스프린트에 걸쳐 테스트 품질을 모니터링하는 데 실용적으로 적용될 수 있음을 보여주며, 실행 가능한 통찰을 제공한다.
• PBR는 스프린트 초반에 높은 테스트 복잡도를 가진 기능을 조기에 식별할 수 있도록 하여, 더 나은 테스트 계획 수립과 자원 배분이 가능하게 한다.
• 지표는 테스트 노력의 일관성 부족 또는 약점(예: 미충분한 테스트 또는 고위험 기능)을 드러내어 프로세스 개선을 지원한다.
• PBR 프레임워크는 유연하게 적용 가능하므로, 스크럼 팀의 기존 품질 관리 관행에 보완적으로 활용될 수 있다.
• PBR는 품질 보증 엔지니어의 입력에 중점을 두지만, 저자들은 향후 연구에서 개발자들의 테스트 기여도 포함시키는 것이 필요하다고 인정한다.