[论文解读] Measuring Software Quality in Use: State-of-the-Art and Research Challenges

Issa Atoum, Chih How Bong|arXiv (Cornell University)|Mar 24, 2015

Software Engineering Research被引用 18

一句话总结

本文识别了在测量使用中的软件质量时面临的关键挑战，特别是ISO SQuaRE标准的复杂性以及定制化模型的局限性。本文提出通过用户评论的情感分析来预测使用中的质量，这是一种数据驱动的解决方案，可改善电子政务和移动系统等实际应用中的可量化评估。

ABSTRACT

Software quality in use comprises quality from the user's perspective. It has gained its importance in e-government applications, mobile-based applications, embedded systems, and even business process development. User's decisions on software acquisitions are often ad hoc or based on preference due to difficulty in quantitatively measuring software quality in use. But, why is quality-in-use measurement difficult? Although there are many software quality models, to the authors' knowledge no works survey the challenges related to software quality-in-use measurement. This article has two main contributions: 1) it identifies and explains major issues and challenges in measuring software quality in use in the context of the ISO SQuaRE series and related software quality models and highlights open research areas; and 2) it sheds light on a research direction that can be used to predict software quality in use. In short, the quality-in-use measurement issues are related to the complexity of the current standard models and the limitations and incompleteness of the customized software quality models. A sentiment analysis of software reviews is proposed to deal with these issues.

研究动机与目标

• 从用户视角识别并分析测量软件质量的主要挑战。
• 检查基于ISO SQuaRE和定制化软件质量模型的现有模型的局限性。
• 突出使用中质量测量方面的开放研究领域。
• 提出将用户评论的情感分析作为使用中软件质量的预测方法。

提出的方法

• 系统性回顾ISO SQuaRE标准及相关软件质量模型。
• 识别与定制化质量模型中复杂性和不完整性相关的关键问题。
• 应用自然语言处理技术分析用户评论的情感。
• 将评论中的情感评分映射到使用中的质量维度。
• 将情感分析用作实际软件使用中用户感知质量的代理指标。

实验结果

研究问题

• RQ1 根据现有标准和模型，测量使用中软件质量的主要挑战是什么？
• RQ2 为什么从用户视角难以对软件质量进行定量评估？
• RQ3 如何利用用户生成的评论来预测使用中的软件质量？
• RQ4 现有软件质量模型在捕捉真实世界用户经验方面存在哪些局限性？
• RQ5 情感分析能否有效作为使用中软件质量的代理指标？

主要发现

• ISO SQuaRE基础模型及定制化质量模型的复杂性和不完整性阻碍了有效的使用中质量测量。
• 由于缺乏定量质量度量，用户在选择软件时的决策往往具有主观性。
• 对用户评论进行情感分析提供了一种可行且数据驱动的方法，可用于预测使用中的软件质量。
• 现有模型未能充分捕捉动态的真实世界用户经验及上下文因素。
• 所提出的基于情感的方法为实际应用中评估使用中质量提供了可扩展且实用的替代方案。