[논문 리뷰] Measuring the Success of Software Process Improvement: The Dimensions

Pekka Abrahamsson|arXiv (Cornell University)|2013. 09. 18.

Software Engineering Techniques and Practices참고 문헌 16인용 수 7

한 줄 요약

이 논문은 소프트웨어 프로세스 개선(SPI) 성공을 측정하기 위한 오차차원 프레임워크를 제안한다: 프로젝트 효율성, 프로세스 사용자 영향, 비즈니스 성공, 직접적 운영 성공, 프로세스 개선 적합성. 23명의 변화 담당자를 대상으로 한 실증 평가 결과, 프로세스 사용자 만족도가 가장 중요하게 평가되었고, 프로세스 개선 적합성이 가장 낮게 평가되어, SPI 성공 측정 프레임워크에서 다수의 이해관계자 관점을 통합할 필요성이 강조된다.

ABSTRACT

Quality managers, change agents and researchers are often troubled in defining and demonstrating the level of success achieved in software process improvement (SPI) initiatives. So far, there exist only few frameworks for identifying the level of success achieved in SPI. Analysis shows that these frameworks do not provide a comprehensive view from all relevant stakeholders involved in SPI. Early results from an ongoing research effort to discover and operationalise success dimensions are reported. Adapted from the project management literature it is suggested that five dimensions characterise the level of success achieved in SPI: (1) project efficiency, (2) impact on the process user, (3) business success, (4) direct operational success and (5) process improvement fit. Results from an empirical analysis are reported where 23 change agents evaluated the relative level of importance of each dimension. Early results indicate that change agents valued the process user satisfaction the most and the process improvement fit the least. This finding confirms the need of having various stakeholders and dimensions acknowledged in a framework that is used to measure the overall success of an SPI initiative.

연구 동기 및 목표

• 모든 관련 이해관계자에 대해 종합적인 SPI 성공 측정 프레임워크의 부족을 해결하기 위해.
• 소프트웨어 프로세스 개선 이니셔티브의 진정한 성공을 반영하는 핵심 차원을 식별하고 실천 가능하게 만들기 위해.
• 변화 담당자로부터의 실증 데이터를 통해 이러한 차원에 대한 이해관계자 인식을 검증하기 위해.
• 기존 프레임워크가 프로세스 사용자 및 기타 비관리적 이해관계자의 관점을 소외하고 있음을 입증하기 위해.

제안 방법

• 프로젝트 관리 문헌에서 유도한 다섯 가지 성공 차원을 SPI 맥락에 맞게 적응 적용하였다.
• 각 차원의 상대적 중요도를 평가하기 위해 23명의 변화 담당자 대상 실증 설문 조사를 실시하였다.
• 정성적 및 정량적 분석을 활용해 이해관계자 입력 기반으로 차원을 순위 매겼다.
• 다양한 이해관계자 관점을 통합한 통합된 성공 측정 모델에 기반한 체계적 프레임워크를 제안하였다.
• SPI 이니셔티브에 참여한 전문가들의 피드백을 통해 프레임워크의 관련성을 검증하였다.

실험 결과

연구 질문

• RQ1 소프트웨어 프로세스 개선 이니셔티브의 성공을 특징짓는 핵심 차원은 무엇인가?
• RQ2 다양한 이해관계자, 특히 변화 담당자들은 이러한 성공 차원의 상대적 중요도를 어떻게 평가하는가?
• RQ3 기존의 SPI 성공 프레임워크는 프로세스 사용자 및 기타 비관리적 이해관계자의 관점을 어느 정도 반영하고 있는가?
• RQ4 다양한 이해관계자 관점을 통합한 종합적인 다차원 SPI 성공 프레임워크는 어떻게 개발하고 검증할 수 있는가?
• RQ5 프로세스 사용자 만족도와 같은 특정 차원을 다른 것들보다 우선시할 경우, SPI 결과 평가에 어떤 함의가 있는가?

주요 결과

• 변화 담당자들에 따르면 프로세스 사용자 만족도가 가장 중요한 차원으로 평가되어, 이가 인식된 SPI 성공의 중심적 역할을 함을 시사한다.
• 프로세스 개선 적합성은 가장 낮은 중요도로 평가되어, 이론적으로는 중요하지만 실무에서는 간과될 수 있음을 시사한다.
• 제안된 다섯 가지 차원—프로젝트 효율성, 프로세스 사용자 영향, 비즈니스 성공, 직접적 운영 성공, 프로세스 개선 적합성—은 SPI 성공 측정을 위한 종합적인 기반을 제공한다.
• 실증 결과는 기존 프레임워크가 프로세스 사용자 및 기타 비지도적 이해관계자의 관점을 자주 포함하지 못하고 있음을 확인한다.
• 관리자나 기술적 지표를 초월해 인간적 요소와 조직적 요소를 포함한 다수 이해관계자 기반 프레임워크의 필요성이 명확히 드러난다.