[論文レビュー] How Tertiary Studies perform Quality Assessment of Secondary Studies in Software Engineering

Dolors Costal, Carles Farré+2 more|QRU Quaderns de Recerca en Urbanisme|Oct 7, 2021

Software Engineering Techniques and Practices参考文献 14被引用数 10

ひとこと要約

本研究は、ソフトウェア工学分野の三次研究が二次研究の質をどのように評価しているかを調査し、使用されているフレームワーク、その構成要素、目的を特定する。DAREが最も一般的なフレームワークであることが判明し、しばしばカスタマイズされている。本研究では、現在の実践における特定された欠陥を是正するため、より優れた質の評価フレームワークを構築するための基盤的ステップを提案する。

ABSTRACT

Context: Tertiary studies are becoming increasingly popular in software engineering as an instrument to synthesise evidence on a research topic in a systematic way. In order to understand and contextualize their findings, it is important to assess the quality of the selected secondary studies. Objective: This paper aims to provide a state of the art on the assessment of secondary studies' quality as conducted in tertiary studies in the area of software engineering, reporting the frameworks used as instruments, the facets examined in these frameworks, and the purposes of the quality assessment. Method: We designed this study as a systematic mapping responding to four research questions derived from the objective above. We applied a rigorous search protocol over the Scopus digital library, resulting in 47 papers after application of inclusion and exclusion criteria. The extracted data was synthesised using content analysis. Results: A majority of tertiary studies perform quality assessment. It is not often used for excluding studies, but to support some kind of investigation. The DARE quality assessment framework is the most frequently used, with customizations in some cases to cover missing facets. We outline the first steps towards building a new framework to address the shortcomings identified. Conclusion: This paper is a step forward establishing a foundation for researchers in two different ways. As authors of tertiary studies, understanding the different possibilities in which they can perform quality assessment of secondary studies. As readers, having an instrument to understand the methodological rigor upon which tertiary studies may claim their findings.

研究の動機と目的

• ソフトウェア工学分野の三次研究が二次研究の質をどのように評価しているかを調べること。
• 三次研究で使用されている質の評価フレームワークとその主要な側面を特定すること。
• 三次研究における質の評価の目的（例：統合や除外など）を理解すること。
• 現在のフレームワークにおけるギャップを強調し、より包括的な解決策へのステップを提案すること。

提案手法

• 目的に基づいて導出された4つの研究質問をもとに、系統的マッピング研究を実施した。
• 事前に定義された含む・含まない基準に従い、Scopusデジタルライブラリで厳密な検索を実施した。
• 47件の含まれる論文から、質の評価実践に関するコンテンツ分析を通じてデータを抽出した。
• フレームワーク使用のパターン、評価される側面、評価の目的を特定するために、発見を統合した。
• 現在のフレームワーク（特にDARE）の限界を評価し、改善への方向性を提案した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア工学分野の二次研究を評価する三次研究で、最も一般的に使用されている質の評価フレームワークは何か？
• RQ2 三次研究で通常評価される二次研究の質の側面は何か？
• RQ3 三次研究で質の評価を実施する主な目的は何か？
• RQ4 三次研究は、既存のフレームワークをどのように適合・カスタマイズして、欠落している側面をカバーしているか？
• RQ5 現在の質の評価実践における主な欠陥は何か。それらはどのように是正できるか？

主な発見

• 三次研究の大多数が二次研究の質の評価を実施しているが、それはほとんど排除の目的で使われていない。
• DAREフレームワークが最も頻繁に使用されており、元来含まれていなかった側面をカバーするためにカスタマイズされている。
• 質の評価は、主に研究の統合や結果の文脈化を支援する目的で使われており、研究の除外の目的ではない。
• 多くのフレームワークが、研究設計、データ収集、分析の厳密性といった重要な側面をカバーしていない。
• 本研究では、現在の実践における特定された欠陥を是正するため、より包括的な質の評価フレームワークの構築が求められていると判明した。
• 本研究の発見は、研究者が三次研究における方法論的厳密性を向上させる基盤を提供するとともに、読者が結論の信頼性を評価する手がかりを提供する。