[论文解读] Model-based Product Quality Evaluation with Multi-Criteria Decision Analysis

Adam Trendowicz, Michael Kläs+4 more|arXiv (Cornell University)|Jan 9, 2014

Software Engineering Research参考文献 14被引用 9

一句话总结

本文提出一种基于模型的软件产品质量评估方法，采用多准则决策分析（MCDA）实现一致、可定制且可靠的品质评估。该方法引入统一的质量元模型和结构化的聚合机制，将多个质量准则整合为整体评估，通过一个应用场景和在软件过程度量背景下的初步结果验证了其可行性。

ABSTRACT

The ability to develop or evolve software or software-based systems/services with defined and guaranteed quality in a predictable way is becoming increasingly important. Essential - though not exclusive - prerequisites for this are the ability to model the relevant quality properties appropriately and the capability to perform reliable quality evaluations. Existing approaches for integrated quality modeling and evaluation are typically either narrowly focused or too generic and have proprietary ways for modeling and evaluating quality. This article sketches an ap- proach for modeling and evaluating quality properties in a uniform way, without losing the ability to build sufficiently detailed customized models for specific quality properties. The focus of this article is on the description of a multi-criteria aggregation mechanism that can be used for the evaluation. In addition, the underlying quality meta-model, an example application scenario, related work, initial application results, and an outlook on future research are presented.

研究动机与目标

• 解决在建模和评估软件产品质量方面缺乏标准化但可定制的方法的问题。
• 实现在不同软件系统和领域中可靠且可预测的质量评估。
• 开发一个统一框架，支持详细且领域特定的质量建模，同时不牺牲通用性。
• 将多准则决策分析整合到质量评估中，以提升决策质量。
• 通过一个应用场景和在软件过程度量背景下的初步实证结果验证该方法。

提出的方法

• 作者定义了一个质量元模型，将核心质量属性抽象为正式结构，以实现一致的建模。
• 采用多准则聚合机制，将各个质量属性评分整合为整体质量评估结果。
• 该方法支持根据利益相关者优先级或领域特定需求自定义准则权重。
• 该方法在基于模型的软件工程框架内实现，以确保可追溯性和可重用性。
• 使用决策分析技术对评估过程进行形式化，以支持透明性和可复现性。
• 通过一个示例应用场景，展示了该方法在真实世界软件过程度量背景下的应用。

实验结果

研究问题

• RQ1 如何在不同领域中以统一且可定制的方式建模软件质量属性？
• RQ2 哪些机制能够实现将多个质量准则可靠地聚合为一个可解释的质量评分？
• RQ3 所提出的基于模型的方法在实践中如何支持一致且可重复的质量评估？
• RQ4 将MCDA应用于软件产品质量评估的实际影响和局限性是什么？
• RQ5 该方法与现有专有或范围有限的质量评估方法相比有何差异？

主要发现

• 所提出的基于模型的方法可在多种软件系统中实现一致且可定制的质量建模。
• 多准则聚合机制成功地将异质质量属性整合为统一的质量评分。
• 该方法支持利益相关者主导的准则权重设定，增强了相关性和决策实用性。
• 在软件过程度量背景下的初步应用结果表明了该方法的可行性和实用性。
• 该框架显示出可无缝集成到现有软件工程流程中的潜力，而无需重大基础设施变更。
• 该方法为未来在标准化但可适应的软件质量评估方面的研究奠定了基础。