[论文解读] How Tertiary Studies perform Quality Assessment of Secondary Studies in Software Engineering

Dolors Costal, Carles Farré+2 more|QRU Quaderns de Recerca en Urbanisme|Oct 7, 2021

Software Engineering Techniques and Practices参考文献 14被引用 10

一句话总结

本研究调查了软件工程领域的研究生研究如何评估二级研究的质量，识别所使用的框架、其组成部分及目的。研究发现DARE是使用最广泛的框架，通常会进行定制化处理，并提出了迈向一种新型、更优质量评估框架的基础步骤，以解决当前实践中存在的不足。

ABSTRACT

Context: Tertiary studies are becoming increasingly popular in software engineering as an instrument to synthesise evidence on a research topic in a systematic way. In order to understand and contextualize their findings, it is important to assess the quality of the selected secondary studies. Objective: This paper aims to provide a state of the art on the assessment of secondary studies' quality as conducted in tertiary studies in the area of software engineering, reporting the frameworks used as instruments, the facets examined in these frameworks, and the purposes of the quality assessment. Method: We designed this study as a systematic mapping responding to four research questions derived from the objective above. We applied a rigorous search protocol over the Scopus digital library, resulting in 47 papers after application of inclusion and exclusion criteria. The extracted data was synthesised using content analysis. Results: A majority of tertiary studies perform quality assessment. It is not often used for excluding studies, but to support some kind of investigation. The DARE quality assessment framework is the most frequently used, with customizations in some cases to cover missing facets. We outline the first steps towards building a new framework to address the shortcomings identified. Conclusion: This paper is a step forward establishing a foundation for researchers in two different ways. As authors of tertiary studies, understanding the different possibilities in which they can perform quality assessment of secondary studies. As readers, having an instrument to understand the methodological rigor upon which tertiary studies may claim their findings.

研究动机与目标

• 调查研究生软件工程研究如何对二级研究进行质量评估。
• 识别研究生研究中使用的质量评估框架及其关键特征。
• 理解研究生研究中质量评估的主要目的，例如综合或排除研究。
• 指出现有框架中的缺陷，并提出迈向更全面解决方案的步骤。

提出的方法

• 基于研究目标提出的四个研究问题，开展系统性映射研究。
• 在Scopus数字图书馆中，依据预设的纳入与排除标准进行严格检索。
• 通过对47篇纳入论文的内容分析，提取质量评估实践的数据。
• 综合研究发现，识别框架使用模式、评估特征及评估目的。
• 评估现有框架（尤其是DARE）的局限性，并提出改进方向。

实验结果

研究问题

• RQ1 在软件工程领域的研究生研究中，评估二级研究质量时最常使用的质量评估框架有哪些？
• RQ2 研究生研究通常评估二级研究质量的哪些方面？
• RQ3 研究生研究中开展质量评估的主要目的是什么？
• RQ4 研究生研究如何调整或定制现有框架以弥补缺失的评估方面？
• RQ5 当前质量评估实践中的主要缺陷是什么，如何加以解决？

主要发现

• 大多数研究生研究会对二级研究进行质量评估，尽管极少用于排除研究。
• DARE框架是最常使用的评估工具，且通常通过定制化以涵盖原始框架未包含的方面。
• 质量评估主要用于支持研究发现的综合与语境化，而非用于研究排除。
• 许多框架缺乏对关键方面（如研究设计、数据收集和分析严谨性）的覆盖。
• 本研究识别出对一种新型、更全面的质量评估框架的迫切需求，以解决当前实践中的缺陷。
• 研究结果为研究人员提升研究生研究的方法论严谨性提供了基础，也为读者评估其结论的可靠性提供了依据。