[논문 리뷰] A conversation around the analysis of the SiP effort estimation dataset

Derek M. Jones, Stephen Cullum|arXiv (Cornell University)|2019. 01. 06.

Software Engineering Research참고 문헌 8인용 수 4

한 줄 요약

이 논문은 10년 이상 동안 20개 프로젝트에서 22명의 개발자가 제출한 총 10,100건의 작업 추정치를 포함한 SiP 작업 추정 데이터셋에 대한 대화형 분석을 제시한다. 이는 추정 정확도에 영향을 미치는 주요 요인으로 개인 개발자, 프로젝트 맥락, 둥근 수치 편향을 규명한다. 尽管 추정 실천 방식이 향상되었음에도 불구하고, 회귀 모델은 눈에 띄는 성능 향상을 보이지 않아, 애자일 환경에서 인간의 추정 행동을 포괄하는 데 통계 모델링의 한계를 드러낸다.

ABSTRACT

The analysis of over ten years of commercial development using Agile (10,100 unique task estimates made by 22 developers, under 20 project codes) is documented via a conversation involving the data analyst and a director of the company that created the SiP dataset. Factors found to influence task implementation effort estimation accuracy include the person making the estimate, the project involved, and the propensity to use round numbers. Any improvement in estimation accuracy, with practice, did not noticeably improve regression models fitted.

연구 동기 및 목표

• 상업적 애자일 개발 환경에서 수집한 대규모 실세계 데이터셋을 활용하여 소프트웨어 작업 추정 정확도에 영향을 미치는 요인을 조사하기 위해.
• 개별 개발자 행동, 프로젝트 특화 동적 요인, 추정 실천 방식이 시간이 지남에 따라 추정 정확도에 어떻게 영향을 미치는지 탐구하기 위해.
• 향상된 추정 실천 방식이 추정 정확도의 회귀 모델 성능에 측정 가능한 향상 효과를 가져오는지 평가하기 위해.
• 클라이언트 참여 및 조직적 실천이 추정 행동과 결과에 어떻게 영향을 미치는지 이해하기 위해.
• empirical 분석을 통한 데이터 수집 및 추정 향상에 실질적인 통찰을 제공하기 위해.

제안 방법

• 영역 전문가(Stephen Cullum)와 데이터 분석가(Derek Jones) 간의 대화를 통해 반복적인 데이터 분석을 수행하였으며, 도메인 지식과 통계 기법을 통합하였다.
• 2004년에서 2014년까지의 시계열 데이터를 포함한 익명화된 데이터 12,299행을 분석하였으며, 이는 작업 추정치, 실제 노력, 개발자 ID, 프로젝트 코드, 타임스탬프를 포함한다.
• 통계 모델링 및 시각화에 R을 사용하였으며, 분석 서술에 코드 스니펫을 통합하여 결과를 뒷받침하였다.
• 상대 오차와 편향 등의 지표를 사용하여 개인 개발자, 프로젝트, 시간대 간의 추정 정확도를 평가하였다.
• 둥근 수치 사용 패턴을 탐색하고, 이들이 추정 정확도 저하와 어떤 관련이 있는지 분석하였다.
• 클라이언트 참여 및 릴리스 계획 실천이 추정 행동과 결과에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 애자일 환경에서 소프트웨어 작업 추정 정확도에 영향을 미치는 요인은 무엇인가?
• RQ2 개별 개발자 행동은 추정 정확도에 어떻게 영향을 미치며, 경험은 측정 가능한 향상으로 이어지는가?
• RQ3 둥근 수치 사용이 추정 정확도 저하에 어느 정도 기여하는가?
• RQ4 시간이 지남에 따라 향상된 추정 실천 방식이 더 나은 성능의 회귀 모델을 만들어내는가?
• RQ5 클라이언트 참여와 프로젝트 단계(개발 vs. 지원)는 추정 행동과 결과에 어떻게 영향을 미치는가?

주요 결과

• 추정 정확도는 개인 개발자에 의해 크게 영향을 받았으며, 22명의 개발자 간 편향과 정밀도에 뚜렷한 차이가 있었다.
• 프로젝트 특화 요인, 특히 클라이언트 참여와 프로젝트 단계는 추정 행동과 결과에 강력한 영향을 미쳤다.
• 둥근 수치 사용 경향이 뚜렷하게 관찰되었으며, 이는 추정의 체계적 오류를 유발하였다.
• 추정 실천 방식의 향상 경향이 관찰되었음에도 불구하고, 회귀 모델은 눈에 띄는 성능 향상을 보이지 않았다.
• 2008년 이후 지원 단계에서는 과대 추정이 더 흔했으며, 클라이언트가 이를 수용함으로써 추정 행동에 전략적 전환을 보였다.
• 개발 단계에서 클라이언트의 참여는 더 높은 추정 정확도를 이끌었고, 지원 단계에서의 참여 감소는 과대 추정과 관련이 있었다.