[논문 리뷰] Software Process Measurement and Related Challenges in Agile Software Development: A Multiple Case Study

Prabhat Ram, Pilar Rodríguez외 1명|arXiv (Cornell University)|2018. 09. 04.

Software Engineering Techniques and Practices인용 수 6

한 줄 요약

이 다중 사례 연구는 Q-Rapids 프로젝트에 참여한 네 개의 애자일 소프트웨어 기업을 대상으로, 목표-질문-측정법(GQM) 접근법을 사용하여 애자일 환경에서 소프트웨어 프로세스 측정의 근거와 운영적 과제를 조사한다. 연구 결과, 기업들은 속도, 테스팅, 추정 정확도와 같은 커스터마이징된 지표를 우선시하지만, 기술적 및 프로세스적 제약로 인해 데이터 가용성에 심각한 장애를 겪어 효과적인 측정 구현이 제한됨을 확인하였다.

ABSTRACT

Existing scientific literature highlights the importance of metrics in Agile Software Development (ASD). Still, empirical investigation into metrics in ASD is scarce, particularly in identifying the rationale and the operational challenges associated with metrics. Under the Q-Rapids project (Horizon 2020), we conducted a multiple case study at four Agile companies, using the Goal Question Metric (GQM) approach, to investigate the rationale explaining the choice of process metrics in ASD, and challenges faced in operationalizing them. Results reflect that companies are interested in assessing process aspects like velocity, testing performance, and estimation accuracy, and they prefer custom metrics for these assessments. Companies use metrics as a means to access and even capitalize on the data, erstwhile inaccessible due to technical or process constraints. However, development context of a company can hinder metrics operationalization, manifesting primarily as unavailability of the data required to measure metrics...(check the paper for full Abstract)

연구 동기 및 목표

• 애자일 소프트웨어 개발(ASD) 환경에서 프로세스 지표를 선택하는 데의 근거를 이해하기 위해.
• 애자일 조직 내에서 소프트웨어 프로세스 지표를 구현하는 데 직면한 운영적 과제를 특정하기 위해.
• 기술적 또는 프로세스적 제약로 인해 이전에는 접근이 어려웠던 데이터에 지표를 활용해 접근하는 방식을 연구하기 위해.
• 속도, 테스팅 성능, 추정 정확도와 같은 핵심 프로세스 측면을 평가하는 데 커스터마이징된 지표가 수행하는 역할을 조사하기 위해.

제안 방법

• Q-Rapids Horizon 2020 프로젝트에 참여한 네 개의 애자일 소프트웨어 개발 기업을 대상으로 다중 사례 연구를 수행하였다.
• 시스템적으로 프로세스 지표를 식별하고 구조화하기 위해 목표-질문-측정법(GQM) 접근법을 적용하였다.
• 지표 선택의 근거와 구현 과제를 탐구하기 위해 인터뷰와 문서 분석을 통해 정성적 데이터를 수집하였다.
• 지표 선택, 사용, 운영화 장애의 패턴을 식별하기 위해 데이터를 분석하였다.
• 지표의 관련성을 평가하기 위해 속도, 테스팅 성능, 추정 정확도와 같은 프로세스 측면에 집중하였다.
• 주제 분석을 통해 데이터 가용성 문제와 지표 구현에 영향을 미치는 조직적 제약에 대한 통찰을 도출하였다.

실험 결과

연구 질문

• RQ1 애자일 조직은 개발 관행에서 특정 프로세스 지표를 선택하는 데 어떤 동기를 갖는가?
• RQ2 애자일 환경에서 소프트웨어 프로세스 지표를 운영화하는 데 조직이 겪는 주요 과제는 무엇인가?
• RQ3 기술적 또는 프로세스적 제약로 인해 이전에는 접근이 어려웠던 데이터에 조직은 어떻게 지표를 활용하는가?
• RQ4 애자일 개발에서 핵심 프로세스 차원을 평가하기 위해 기업들은 표준 지표보다 커스터마이징된 지표를 어느 정도 의존하는가?

주요 결과

• 기업들은 속도, 테스팅 성능, 추정 정확도와 같은 핵심 프로세스 측면을 평가하기 위해 표준 지표보다 커스터마이징된 지표를 우선시한다.
• 지표 운영화의 주요 장벽은 개발 환경 내 기술적 및 프로세스적 제약로 인한 필수 데이터의 가용성 부족이다.
• 지표는 모니터링 외에도 시스템 또는 워크플로우 제약로 이전에는 접근이 어려웠던 데이터에서 통찰을 도출하기 위해 사용된다.
• 프로세스 측정에 관심이 있음에도 불구하고, 많은 조직들이 데이터 인프라 부족 또는 통합 문제로 인해 지표를 구현하는 데 어려움을 겪는다.
• 연구 결과, 데이터 접근성 및 품질 문제로 인해 프로세스 성과 측정에 대한 욕구와 실제 구현 능력 사이에 격차가 존재함을 확인하였다.
• 기업들은 종종 특정 수요에 대응해 일시적인 지표를 개발함으로써, 수동적인 측정 전략이 아니라 반응적인 측정 전략을 택하고 있음을 시사한다.