[논문 리뷰] How Tertiary Studies perform Quality Assessment of Secondary Studies in Software Engineering

Dolors Costal, Carles Farré외 2명|QRU Quaderns de Recerca en Urbanisme|2021. 10. 07.

Software Engineering Techniques and Practices참고 문헌 14인용 수 10

한 줄 요약

이 연구는 소프트웨어 공학 분야의 삼차학술연구에서 2차 연구의 품질을 평가하는 방식을 조사하여 사용되는 프레임워크, 그 구성 요소 및 목적을 규명한다. 연구 결과 DARE가 가장 널리 사용되는 프레임워크이며, 일반적으로 맞춤형으로 적용되고 있으며, 현재의 평가 관행에서 드러난 한계를 보완하기 위해 새로운 품질 평가 프레임워크를 위한 기초 단계를 제안한다.

ABSTRACT

Context: Tertiary studies are becoming increasingly popular in software engineering as an instrument to synthesise evidence on a research topic in a systematic way. In order to understand and contextualize their findings, it is important to assess the quality of the selected secondary studies. Objective: This paper aims to provide a state of the art on the assessment of secondary studies' quality as conducted in tertiary studies in the area of software engineering, reporting the frameworks used as instruments, the facets examined in these frameworks, and the purposes of the quality assessment. Method: We designed this study as a systematic mapping responding to four research questions derived from the objective above. We applied a rigorous search protocol over the Scopus digital library, resulting in 47 papers after application of inclusion and exclusion criteria. The extracted data was synthesised using content analysis. Results: A majority of tertiary studies perform quality assessment. It is not often used for excluding studies, but to support some kind of investigation. The DARE quality assessment framework is the most frequently used, with customizations in some cases to cover missing facets. We outline the first steps towards building a new framework to address the shortcomings identified. Conclusion: This paper is a step forward establishing a foundation for researchers in two different ways. As authors of tertiary studies, understanding the different possibilities in which they can perform quality assessment of secondary studies. As readers, having an instrument to understand the methodological rigor upon which tertiary studies may claim their findings.

연구 동기 및 목표

• 삼차학술연구에서 2차 연구의 품질 평가 방식을 조사하기 위해.
• 삼차학술연구에서 사용되는 품질 평가 프레임워크와 그 핵심 요소를 특정하기 위해.
• 삼차학술연구에서 품질 평가의 목적(예: 종합 또는 배제)을 이해하기 위해.
• 기존 프레임워크의 격차를 부각하고, 보다 종합적인 해결책을 위한 단계를 제안하기 위해.

제안 방법

• 목적에서 유도된 네 개의 연구 질문을 바탕으로 체계적 맵핑 연구를 수행하였다.
• 사전 정의된 포함 및 배제 기준을 사용해 스프루스 컬렉션 디지털 라이브러리에서 철저한 검색을 수행하였다.
• 포함된 47篇의 논문에서 내용 분석을 통해 품질 평가 관행의 데이터를 추출하였다.
• 프레임워크 사용 패턴, 평가 요소, 평가 목적을 식별하기 위해 연구 결과를 통합 분석하였다.
• 현재 프레임워크(특히 DARE)의 한계를 평가하고 향후 개선 방향을 제안하였다.

실험 결과

연구 질문

• RQ1 소프트웨어 공학 분야의 2차 연구 평가를 위한 삼차학술연구에서 가장 흔히 사용되는 품질 평가 프레임워크는 무엇인가?
• RQ2 삼차학술연구에서 일반적으로 평가되는 2차 연구 품질의 요소는 무엇인가?
• RQ3 삼차학술연구에서 품질 평가를 수행하는 주요 목적은 무엇인가?
• RQ4 삼차학술연구는 기존 프레임워크를 어떻게 수정하거나 맞춤화하여 누락된 요소를 보완하는가?
• RQ5 현재 품질 평가 관행의 주요 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• 대부분의 삼차학술연구에서 2차 연구의 품질 평가를 수행하지만, 이는 거의 항상 연구 배제를 위한 것이 아니다.
• DARE 프레임워크가 가장 자주 사용되는 도구이며, 원래 포함되지 않은 요소를 커버하기 위해 일반적으로 수정·응용된다.
• 품질 평가는 주로 연구 결과의 종합 및 맥락화를 지원하기 위해 사용되며, 연구 배제를 위한 것이 아니다.
• 많은 프레임워크가 연구 설계, 데이터 수집, 분석의 엄밀함과 같은 핵심 요소를 다루지 못하고 있다.
• 본 연구는 현재 관행의 한계를 보완하기 위해 새로운 종합적인 품질 평가 프레임워크가 필요하다고 규명하였다.
• 연구 결과는 연구자들이 삼차학술연구의 방법론적 엄밀성을 향상시키는 데 기초 자료를 제공하며, 독자들이 결론의 신뢰성을 평가하는 데에도 기여한다.