[논문 리뷰] Estimation of Characteristics of a Software Team for Implementing Effective Inspection Process through Inspection Performance Metric

T. R. Gopalakrishnan Nair, V. Suma|arXiv (Cornell University)|2011. 07. 16.

Software Engineering Research참고 문헌 15인용 수 10

한 줄 요약

이 논문은 실시간 결함 수를 기반으로 하지 않고 소프트웨어 팀의 검사 성과 지표(IPM)를 추정하기 위해 다중 선형 회귀를 사용하는 수학적 모델을 제안한다. 제품 기반 및 서비스 기반 IT 프로젝트에서 수집한 실증 데이터를 바탕으로 팀별로 고유한 계수를 도출함으로써, 높은 정확도로 IPM 값을 예측할 수 있으며, 이는 목표 품질 수준을 달성하기 위해 검사 프로세스를 사전에 조정하고 팀 및 이해관계자 간의 결함 관리 능력을 향상시키는 데 기여한다.

ABSTRACT

The continued existence of any software industry depends on its capability to develop nearly zero-defect product, which is achievable through effective defect management. Inspection has proven to be one of the promising techniques of defect management. Introductions of metrics like, Depth of Inspection (DI, a process metric) and Inspection Performance Metric (IPM, a people metric) enable one to have an appropriate measurement of inspection technique. This article elucidates a mathematical approach to estimate the IPM value without depending on shop floor defect count at every time. By applying multiple linear regression models, a set of characteristic coefficients of the team is evaluated. These coefficients are calculated from the empirical projects that are sampled from the teams of product-based and service-based IT industries. A sample of three verification projects indicates a close match between the IPM values obtained from the defect count (IPMdc) and IPM values obtained using the team coefficients using the mathematical model (IPMtc). The IPM values observed onsite and IPM values produced by our model which are strongly matching, support the predictive capability of IPM through team coefficients. Having finalized the value of IPM that a company should achieve for a project, it can tune the inspection influencing parameters to realize the desired quality level of IPM. Evaluation of team coefficients resolves several defect-associated issues, which are related to the management, stakeholders, outsourcing agents and customers. In addition, the coefficient vector will further aid the strategy of PSP and TSP

연구 동기 및 목표

• 실시간 결함 수에 의존하지 않고 팀별로 고유한 검사 성과 지표(IPM)를 추정하기 위한 예측 모델을 개발하는 것.
• IT 프로젝트에서 수집한 실증 데이터를 바탕으로 검사 효율성에 영향을 주는 팀 특성들을 식별하고 정량화하는 것.
• 조직이 목표 IPM 수치를 설정하고 검사 파rameter를 조정할 수 있도록 품질 향상에 기여하는 것.
• 측정 가능한 계수를 통해 팀 성과를 정량화함으로써 PSP 및 TSP 이행자에게 실질적인 통찰을 제공하는 것.
• 데이터 기반의 팀 프로파일링을 통해 관리, 외주화, 이해관계자 간 소통에서 발생하는 결함 관련 과제를 해결하는 것.

제안 방법

• 저자는 제품 기반 및 서비스 기반 IT 산업에서 진행된 24개 프로젝트의 실증 검사 데이터를 기반으로 다중 선형 회귀를 적용하여 팀 특성의 계수를 도출한다.
• 모델은 검사 깊이(DI)와 팀 고유의 특성을 입력 변수로 사용하여 IPM 값을 예측한다 (IPMtc).
• 세 개의 검증 프로젝트에서 수집한 실증 데이터를 활용하여 예측 정확도를 실제 결함 수 기반 IPM (IPMdc)와 비교 검증한다.
• 팀 계수는 각 팀의 고유한 성과 프로필을 나타내며, 실시간 결함 추적 없이도 IPM 예측이 가능하게 한다.
• 예측된 IPM 값 (IPMtc) 과 관측된 결함 기반 IPM (IPMdc) 간의 비교를 통해 모델의 타당성을 검증하였으며, 높은 상관관계를 보였다.
• 최종 모델을 통해 조직은 원하는 IPM 목표치를 설정하고, 해당 목표를 달성하기 위해 검사 파rameter를 조정할 수 있다.

실험 결과

연구 질문

• RQ1 실시간 결함 수에 의존하지 않고 실증 데이터 기반의 수학적 모델을 통해 팀별 검사 성과를 예측할 수 있는가?
• RQ2 제안된 다중 회귀 모델이 결함 수 기반 IPM에 비해 검사 성과 지표(IPM)를 얼마나 정확하게 추정하는가?
• RQ3 어떤 팀 특성이 검사 성과에 유의미하게 영향을 주며, 이를 어떻게 정량화할 수 있는가?
• RQ4 모델이 검사 프로세스의 사전 품질 관리 및 프로세스 조정에 얼마나 기여할 수 있는가?
• RQ5 유도된 팀 계수는 외주 팀 및 고객을 포함한 이해관계자 간의 결함 관리 향상에 어떻게 기여하는가?

주요 결과

• 세 개의 검증 프로젝트에서 모델이 도출한 IPM 값 (IPMtc) 이 실제 결함 수 기반 IPM 값 (IPMdc) 과 밀도 있는 일치를 보이며, 예측 정확도가 확인되었다.
• 팀 계수 벡터는 소프트웨어 팀의 성과 프로필을 효과적으로 반영하여 일관되고 반복 가능한 IPM 추정이 가능하다.
• 조직이 목표 IPM 수준을 설정하고 검사 파rameter를 조정할 수 있도록 해주므로, 사전 품질 관리에 기여한다.
• 관측된 IPM 값과 예측된 IPM 값 간의 강한 상관관계는 모델이 다양한 IT 환경에서 실용적으로 적용될 수 있는 신뢰성을 입증한다.
• 데이터 기반의 성과 통찰을 제공함으로써 관리, 이해관계자 간 소통, 외주화 문제 해결에 기여한다.
• 팀 계수는 측정 가능한 성과 지표를 제공함으로써 개인 소프트웨어 프로세스(PSP) 및 팀 소프트웨어 프로세스(TSP) 전략을 향상시키는 기반을 마련한다.