[논문 리뷰] Guidelines for including grey literature and conducting multivocal literature reviews in software engineering

Vahid Garousi, Michael Felderer외 1명|arXiv (Cornell University)|2017. 07. 09.

Software Engineering Techniques and Practices인용 수 18

한 줄 요약

이 논문은 소프트웨어 공학 분야에서 다음의 문헌 리뷰(Multivocal Literature Reviews, MLRs)를 수행하기 위한 종합적이고 증거 기반의 지침을 제시한다. 이는 공식 출판물과 회색 문헌(예: 화이트페이퍼, 블로그 등)을 모두 통합한다. 기존의 시스템적 문헌 리뷰(SLR)의 최선의 관행, 다학제적 MLR 경험, 실제 MLR 사례 연구를 바탕으로, 기획, 실행, 보고 단계를 포함하는 체계적인 프레임워크를 제공하여 소프트웨어 공학 분야의 학술적 지식과 실무 지식을 체계적으로 융합할 수 있도록 돕는다.

ABSTRACT

Context: A Multivocal Literature Review (MLR) is a form of a Systematic Literature Review (SLR) which includes the grey literature (e.g., blog posts and white papers) in addition to the published (formal) literature (e.g., journal and conference papers). MLRs are useful for both researchers and practitioners since they provide summaries both the state-of-the art and -practice in a given area. Objective: There are several guidelines to conduct SLR studies in SE. However, given the facts that several phases of MLRs differ from those of traditional SLRs, for instance with respect to the search process and source quality assessment. Therefore, SLR guidelines are only partially useful for conducting MLR studies. Our goal in this paper is to present guidelines on how to conduct MLR studies in SE. Method: To develop the MLR guidelines, we benefit from three inputs: (1) existing SLR guidelines in SE, (2), a literature survey of MLR guidelines and experience papers in other fields, and (3) our own experiences in conducting several MLRs in SE. All derived guidelines are discussed in the context of three examples MLRs as running examples (two from SE and one MLR from the medical sciences). Results: The resulting guidelines cover all phases of conducting and reporting MLRs in SE from the planning phase, over conducting the review to the final reporting of the review. In particular, we believe that incorporating and adopting a vast set of recommendations from MLR guidelines and experience papers in other fields have enabled us to propose a set of guidelines with solid foundations. Conclusion: Having been developed on the basis of three types of solid experience and evidence, the provided MLR guidelines support researchers to effectively and efficiently conduct new MLRs in any area of SE.

연구 동기 및 목표

• 소프트웨어 공학 분야의 문헌 리뷰에서 회색 문헌을 포함하는 데에 대한 체계적인 지침이 부족한 점을 보완하기 위해.
• 기존의 시스템적 문헌 리뷰(SLR)를 초월하는 다음의 문헌 리뷰(MLRs)를 수행하기 위한 강력하고 증거 기반의 프레임워크를 개발하기 위해.
• 소프트웨어 공학 연구에서 학술 자료와 실무 자료를 융합하여 분석할 수 있도록 연구자와 실무자들을 지원하기 위해.
• 블로그나 화이트페이퍼와 같은 비전통적 자료를 포함할 때 메타적 엄밀함과 투명성을 확보하기 위해 체계적인 지침을 제공하기 위해.

제안 방법

• 저자는 소프트웨어 공학 분야의 기존 시스템적 문헌 리뷰(SLR) 관행에서 지침을 통합하였다.
• 관리학, 의료 분야 등 다른 분야에서의 MLR 지침 및 경험 논문의 통찰을 통합하였다.
• 저자가 소프트웨어 공학 분야에서 수행한 다수의 MLR에 기반한 실증적 경험을 통합하였다.
• 세 가지 연속적인 사례 연구를 통해 지침의 검증과 예시 제공을 수행하였다: 소프트웨어 공학 분야에서 두 개, 의료 과학 분야에서 한 개.
• 프레임워크는 MLR의 모든 단계를 다루며, 기획, 검색 전략, 자료 선정, 품질 평가, 데이터 추출, 융합, 보고 단계를 포함한다.
• 블로그나 화이트페이퍼와 같은 비전통적 자료를 포함할 때도 투명성, 재현 가능성, 방법론적 타당성을 강조한다.

실험 결과

연구 질문

• RQ1 어떻게 소프트웨어 공학 분야의 문헌 리뷰에서 회색 문헌을 체계적으로 식별하고, 선정하며, 평가할 수 있는가?
• RQ2 소프트웨어 공학 분야에서 기존의 SLR와 MLR를 수행할 때의 주요 차이점은 무엇인가?
• RQ3 비공식적 또는 동료 심사가 이루어지지 않은 자료를 문헌 리뷰에 포함할 때 방법론적 엄밀함을 어떻게 유지할 수 있는가?
• RQ4 소프트웨어 공학 분야에서 MLR의 기획, 실행, 보고 단계에 대한 최선의 실천 방법은 무엇인가?
• RQ5 학술적 지식과 실무 지식 자료를 융합함으로써 소프트웨어 공학 분야의 문헌 리뷰가 얼마나 더 관련성 있고 영향력 있는지 향상될 수 있는가?

주요 결과

• 제안된 지침은 기획, 실행, 보고 단계를 포함하는 종합적인 단계별 프레임워크를 제공하여 소프트웨어 공학 분야에서 MLR를 수행할 수 있도록 한다.
• 회색 문헌의 포함은 공식 출판물에 기록되지 않은 최신 산업 관행와 신속한 트렌드를 포착함으로써 리뷰의 풍부함을 크게 향상시킨다.
• 지침은 세 가지 견고한 근거에 기반한다: 정립된 SLR 관행, 다학제적 MLR 경험, 실제 MLR 사례 연구.
• 비공식적 자료에 특화된 체계적인 품질 평가 기준을 통해 MLR의 방법론적 엄밀함이 향상된다.
• 재현 가능성과 투명성을 지원하여 연구자가 비전통적 자료의 포함 및 평가 과정을 체계적으로 기록하고 정당화할 수 있도록 한다.
• 지침은 소프트웨어 공학 내 다양한 연구 분야에 적용 가능하며 이식 가능하다.