[논문 리뷰] An Assessment of the Consistency for Software Measurement Methods

Ramón Asensio Monge, Francisco Sanchís Marco외 1명|ArXiv.org|2002. 04. 09.

Software Engineering Research참고 문헌 2인용 수 5

한 줄 요약

이 논문은 소프트웨어 측정 방법의 일관성을 정량적으로 평가하고 비교하기 위해 상호 평가자 간 일치도를 측정하는 통계적 프레임워크를 제안한다. 동질적 일관성 통계량과 관련된 가설 검정을 도입하여 방법론적 개선이 일관성 향상에 기여하는지 실증적으로 평가하며, 측정 절차의 체계적 수정을 통해 일관성 향상이 실제로 달성 가능하다는 것을 입증한다.

ABSTRACT

Consistency, defined as the requirement that a series of measurements of the same project carried out by different raters using the same method should produce similar results, is one of the most important aspects to be taken into account in the measurement methods of the software. In spite of this, there is a widespread view that many measurement methods introduce an undesirable amount of subjectivity in the measurement process. This perception has made several organizations develop revisions of the standard methods whose main aim is to improve their consistency by introducing some suitable modifications of those aspects which are believed to introduce a greater degree of subjectivity.Each revision of a method must be empirically evaluated to determine to what extent is the aim of improving its consistency achieved. In this article we will define an homogeneous statistic intended to describe the consistency level of a method, and we will develop the statistical analysis which should be carried out in order to conclude whether or not a measurement method is more consistent than other one.

연구 동기 및 목표

• 평가자 간 결과가 일관되지 않아 소프트웨어 측정 방법이 높은 주관성으로 인식되는 데에 대응하기 위해.
• 소프트웨어 측정 기법의 일관성을 평가하기 위한 표준화되고 정량적인 방법을 개발하기 위해.
• 다른 버전이나 개선된 버전의 측정 방법 간 일관성 비교를 위한 통계적 프레임워크를 제공하기 위해.
• 표준 측정 방법의 수정이 실제로 일관성 향상에 기여하는지 실증적으로 검증하기 위해.
• 조직이 객관적이고 데이터 기반 평가를 통해 개선된 측정 절차의 효과성을 평가할 수 있도록 지원하기 위해.

제안 방법

• 저자들은 동일한 방법을 사용하는 다수의 평가자 간 상호 평가자 간 일치도를 측정하기 위해 동질적 일관성 통계량을 정의한다.
• 측정 데이터의 일관성 수준을 정량화하기 위해 내적 상관관계(ICC)를 핵심 통계 도구로 적용한다.
• 두 측정 방법 또는 개선된 버전 간의 일관성 수준을 비교하기 위한 가설 검정 절차를 개발한다.
• 분산분석(ANOVA) 기법을 사용하여 분산을 분할하고 측정의 신뢰성을 평가한다.
• 프레임워크는 측정 방법 간 단방향 및 이방향 비교를 모두 지원한다.
• 이 방법은 다양한 소프트웨어 측정 기법과 평가자 구성에 일반화 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 개선된 소프트웨어 측정 방법은 원본 표준 대비 어느 정도 더 높은 일관성을 보이는가?
• RQ2 표준화된 통계적 지표가 소프트웨어 측정 방법의 일관성을 신뢰성 있게 측정할 수 있는가?
• RQ3 다른 버전의 측정 방법 간 평가자 간 일치도는 어떻게 객관적으로 측정하고 비교할 수 있는가?
• RQ4 한 측정 방법이 다른 방법보다 유의미하게 더 높은 일관성을 보이는지 판단하기 위해 필요한 통계 절차는 무엇인가?
• RQ5 측정 방법에 체계적인 개선 조치를 적용하면 일관성 향상이 실제로 측정 가능한가?

주요 결과

• 제안된 일관성 통계량은 소프트웨어 측정에서 평가자 간 일치도 평가에 신뢰할 수 있는 정량적 측정 수단을 제공한다.
• ANOVA와 ICC 기반의 통계적 가설 검정을 통해 측정 방법의 일관성 수준을 객관적으로 비교할 수 있다.
• 측정 방법의 수정은 통계적 프레임워크에 의해 확인된 바와 같이 측정 가능한 일관성 향상으로 이어질 수 있다.
• 이 방법은 원본 및 개선된 측정 기법 간 일관성 수준의 차이를 효과적으로 탐지할 수 있다.
• 프레임워크는 방법론적 변화의 실증적 검증을 지원하여 주관적 평가에 대한 의존도를 감소시킨다.
• 이 방법은 일반화 가능하며 다양한 소프트웨어 측정 맥락에 적용 가능하다.