[论文解读] A Methodology for Empirical Quality Assessment of Object-Oriented Design

Devpriya Soni, Namita Shrivastava+1 more|arXiv (Cornell University)|Mar 7, 2010

Software Engineering Research参考文献 9被引用 4

一句话总结

本文提出了一种结合受控实验与偏好逻辑评分的方法论，以实证方式评估四种面向对象软件设计的整体质量。通过将基于偏好的结构化评估框架应用于可度量的设计指标，该研究展示了可靠且可重复的评估方法，用于对设计质量进行排序，结果表明不同设计在结构特征上的差异性表现清晰。

ABSTRACT

The direct measurement of quality is difficult because there is no way we can measure quality factors. For measuring these factors, we have to express them in terms of metrics or models. Researchers have developed quality models that attempt to measure quality in terms of attributes, characteristics and metrics. In this work we have proposed the methodology of controlled experimentation coupled with power of Logical Scoring of Preferences to evaluate global quality of four object-oriented designs.

研究动机与目标

• 为解决软件设计质量难以直接量化的问题，提出实证测量方法。
• 开发一种可重复且系统化的方法，用于比较多个面向对象设计的整体质量。
• 通过整合基于偏好的评估，克服仅依赖主观或孤立指标的局限性。
• 通过在真实世界设计变体上进行受控实验，验证该方法论。
• 提供一个支持客观、数据驱动的软件设计评估框架。

提出的方法

• 该方法论采用受控实验，以在四个面向对象设计变体之间生成一致且可比较的数据。
• 收集并归一化设计指标，以确保比较的公平性与一致性。
• 应用偏好逻辑评分，基于指标特征配置对设计进行排序，利用成对比较推断整体质量排名。
• 偏好模型使用形式化逻辑，将各项指标评估聚合为整体质量得分。
• 通过一个包含四个不同设计解决方案的现实世界案例研究验证该方法。
• 最终的质量排名由聚合的偏好得分推导得出，反映整体设计质量，而不仅限于单一指标。

实验结果

研究问题

• RQ1 当直接测量不可行时，如何实证评估面向对象设计质量？
• RQ2 何种方法论能够基于其结构特征，实现对多个设计选项的可靠、可重复比较？
• RQ3 基于偏好的模型能否有效利用可度量指标对设计质量进行排序，而非依赖主观判断？
• RQ4 在统一框架下评估时，不同设计选择如何影响整体质量？
• RQ5 受控实验在多大程度上能提升软件设计评估的客观性？

主要发现

• 所提出的方法论成功基于其结构质量，对四个面向对象设计进行了有效区分，结果排名清晰。
• 偏好逻辑评分提供了一种一致且可解释的方法，将多样化的设计指标聚合为整体质量评估。
• 受控实验确保了评估过程的可重现性，并减少了偏差。
• 该框架表明，基于指标特征配置的综合质量评估，比孤立的指标分析更可靠。
• 研究证实，该方法论在现实世界场景中适用于实证软件设计评估，且具有有效性。
• 结果表明，设计质量在不同变体间并非均匀分布，且该框架能有效识别出质量最高的设计。