[論文レビュー] An Assessment of the Consistency for Software Measurement Methods

Ramón Asensio Monge, Francisco Sanchís Marco+1 more|ArXiv.org|Apr 9, 2002

Software Engineering Research参考文献 2被引用数 5

ひとこと要約

本論文は、評価者間の一貫性を定量化することで、ソフトウェア測定手法の整合性を評価・比較する統計的フレームワークを提案する。同定された均質的一致統計量と関連する仮説検定を導入し、手法の見直しが一貫性を向上させるかを実証的に評価する。構造的な手順の見直しが一貫性の測定可能な向上をもたらすことが示された。

ABSTRACT

Consistency, defined as the requirement that a series of measurements of the same project carried out by different raters using the same method should produce similar results, is one of the most important aspects to be taken into account in the measurement methods of the software. In spite of this, there is a widespread view that many measurement methods introduce an undesirable amount of subjectivity in the measurement process. This perception has made several organizations develop revisions of the standard methods whose main aim is to improve their consistency by introducing some suitable modifications of those aspects which are believed to introduce a greater degree of subjectivity.Each revision of a method must be empirically evaluated to determine to what extent is the aim of improving its consistency achieved. In this article we will define an homogeneous statistic intended to describe the consistency level of a method, and we will develop the statistical analysis which should be carried out in order to conclude whether or not a measurement method is more consistent than other one.

研究の動機と目的

• 評価者間で一貫性のない結果を示すことが一般的に認識されているソフトウェア測定手法の主観的要因を是正すること。
• ソフトウェア測定技術の一貫性を評価するための標準的で定量的な手法を開発すること。
• 異なるバージョンや見直し版の測定手法の一貫性を比較するための統計的フレームワークを提供すること。
• 標準的な測定手法の見直しが実際に一貫性を向上させるかを実証的に検証すること。
• 組織が客観的でデータ駆動の評価を通じて、見直された測定手順の有効性を評価できるように支援すること。

提案手法

• 著者は、同じ手法を用いて複数の評価者間の一貫性を測定するための均質的一致統計量を定義する。
• 測定データ内の一貫性レベルを定量化するために、クラス内相関（ICC）をコア統計ツールとして適用する。
• 2つの測定手法または見直し版の一貫性を比較するための仮説検定手順を開発する。
• 分散分析（ANOVA）技術を用いて分散を分割し、測定の信頼性を評価する。
• フレームワークは、測定手法間の単方向および双方向の比較をサポートする。
• アプローチは、さまざまなソフトウェア測定手法および評価者構成に一般化可能であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 見直されたソフトウェア測定手法は、元の基準と比較してどの程度一貫性が向上するか？
• RQ2 標準化された統計的指標は、ソフトウェア測定手法の一貫性を信頼性高く定量化できるか？
• RQ3 異なるバージョンの測定手法間で、評価者間の一貫性をどのように客観的に測定・比較できるか？
• RQ4 1つの手法が他の手法よりも顕著に一貫性が高いかどうかを判断するために必要な統計的手順は何か？
• RQ5 測定手法への構造的な見直しが、一貫性の測定可能な向上をもたらすか？

主な発見

• 提案された一貫性統計量は、ソフトウェア測定における評価者間一貫性の評価に信頼性があり定量的な測定を可能にする。
• ANOVAおよびICCに基づく仮説検定により、手法の一貫性の客観的比較が可能になる。
• 測定手法の見直しが、統計的フレームワークによる確認を通じて、測定可能な一貫性の向上をもたらすことがある。
• この手法は、測定技術の元バージョンと見直しバージョンの一貫性レベルの差を効果的に検出できる。
• フレームワークは、手法的変更の実証的妥当性を支持し、主観的評価への依存を低減する。
• このアプローチは一般化可能であり、幅広いソフトウェア測定の文脈に適用可能である。