[论文解读] An Assessment of the Consistency for Software Measurement Methods

Ramón Asensio Monge, Francisco Sanchís Marco+1 more|ArXiv.org|Apr 9, 2002

Software Engineering Research参考文献 2被引用 5

一句话总结

本文提出了一套统计框架，通过量化评分者间的一致性，评估并比较软件度量方法的一致性。该框架引入了一种同质性一致性统计量及其相关的假设检验，以实证评估方法论修订是否提升了一致性，证明通过结构化修改度量程序，可实现可衡量的一致性改进。

ABSTRACT

Consistency, defined as the requirement that a series of measurements of the same project carried out by different raters using the same method should produce similar results, is one of the most important aspects to be taken into account in the measurement methods of the software. In spite of this, there is a widespread view that many measurement methods introduce an undesirable amount of subjectivity in the measurement process. This perception has made several organizations develop revisions of the standard methods whose main aim is to improve their consistency by introducing some suitable modifications of those aspects which are believed to introduce a greater degree of subjectivity.Each revision of a method must be empirically evaluated to determine to what extent is the aim of improving its consistency achieved. In this article we will define an homogeneous statistic intended to describe the consistency level of a method, and we will develop the statistical analysis which should be carried out in order to conclude whether or not a measurement method is more consistent than other one.

研究动机与目标

• 解决广泛存在的观点，即软件度量方法因评分者间结果不一致而具有高度主观性。
• 开发一种标准化的、定量的方法，用于评估软件度量技术的一致性。
• 为比较不同版本或修订版本的度量方法的一致性，提供一个统计框架。
• 实证验证对标准度量方法的修改是否真正提升了其一致性。
• 通过客观、数据驱动的评估，支持组织评估修订后度量程序的有效性。

提出的方法

• 作者定义了一种同质性一致性统计量，用于使用相同方法的多个评分者之间的一致性测量。
• 采用组内相关系数（ICC）作为核心统计工具，量化度量数据中的一致性水平。
• 开发了一种假设检验程序，用于比较两种度量方法或其修订版本之间的一致性。
• 该方法使用方差分析（ANOVA）技术对变异进行分解，以评估度量的可靠性。
• 该框架支持度量方法之间的一元和双向比较。
• 该方法设计具有通用性，适用于各种软件度量技术及评分者配置。

实验结果

研究问题

• RQ1 与原始标准相比，修订后的软件度量方法在多大程度上提升了其一致性？
• RQ2 标准化的统计度量是否能可靠地量化软件度量方法的一致性？
• RQ3 如何客观地测量和比较不同版本度量方法之间的评分者间一致性？
• RQ4 需要哪些统计程序来确定一种方法是否显著优于另一种方法？
• RQ5 对度量方法实施结构化修订是否能带来可衡量的一致性改进？

主要发现

• 所提出的同质性一致性统计量为评估软件度量中的评分者间一致性提供了一种可靠且定量的测量方法。
• 基于ANOVA和ICC的统计假设检验能够实现对方法一致性的客观比较。
• 度量方法的修订可带来可衡量的一致性改进，该结论已通过统计框架得到验证。
• 该方法能有效检测原始版本与修订版本度量技术之间的一致性水平差异。
• 该框架支持对方法论变更的实证验证，减少了对主观评估的依赖。
• 该方法具有通用性，适用于广泛的软件度量情境。