[논문 리뷰] Grey Literature in Software Engineering: A Critical Review

Fernando Kamei, Igor Wiese외 9명|arXiv (Cornell University)|2021. 04. 27.

Software Engineering Research참고 문헌 46인용 수 6

한 줄 요약

이 종합 연구는 2011년에서 2018년 사이 소프트웨어 공학(SE) 분야의 2차 연구에서 회색 문헌(GL)의 사용을 조사하며, 446개의 연구를 분석하여 GL 사용, 선정 기준, 동기, 과제를 평가한다. 연구 결과, 연구 질문에 GL을 사용한 2차 연구는 전체의 21%에 불과했으며, GL 정의의 광범위한 일관성 부족, 검색 및 평가 방법의 열악함, GL URL의 49%가 접근 불가능해지는 문제가 발생하여, 소프트웨어 공학 연구에서 GL 통합 및 보존을 향상시키기 위한 표준화된 지침이 필요하다는 점을 시사한다.

ABSTRACT

Context: Grey Literature (GL) recently has grown in Software Engineering (SE) research since the increased use of online communication channels by software engineers. However, there is still a limited understanding of how SE research is taking advantage of GL. Objective: This research aimed to understand how SE researchers use GL in their secondary studies. Method: We conducted a tertiary study of studies published between 2011 and 2018 in high-quality software engineering conferences and journals. We then applied qualitative and quantitative analysis to investigate 446 potential studies. Results: From the 446 selected studies, 126 studies cited GL but only 95 of those used GL to answer a specific research question representing almost 21% of all the 446 secondary studies. Interestingly, we identified that few studies employed specific search mechanisms and used additional criteria for assessing GL. Moreover, by the time we conducted this research, 49% of the GL URLs are not working anymore. Based on our findings, we discuss some challenges in using GL and potential mitigation plans. Conclusion: In this paper, we summarized the last 10 years of software engineering research that uses GL, showing that GL has been essential for bringing practical new perspectives that are scarce in traditional literature. By drawing the current landscape of use, we also raise some awareness of related challenges (and strategies to deal with them).

연구 동기 및 목표

• 소프트웨어 공학 연구자가 2차 연구에서 회색 문헌(GL)을 어떻게 사용하는지 이해하기 위해.
• 2차 연구에서 GL을 포함하거나 배제하는 배경이 되는 동기, 기준, 과제를 조사하기 위해.
• SE 연구에서 인용된 GL 자료의 품질과 지속 가능성 평가하기 위해.
• 다양한 연구 간 GL 정의 및 분류의 일관성 부족을 규명하기 위해.
• 향후 SE 연구에서 GL을 검색하고 선정하며 평가하는 데 실질적인 지침을 제안하기 위해.

제안 방법

• 2011년에서 2018년 사이에 최상위 SE 컨ferences 및 저널에 게재된 446개의 2차 연구를 대상으로 종합 연구를 수행하였다.
• GL 사용, 정의, 선정 기준, 평가 관행를 분석하기 위해 정성적 및 정량적 분석을 적용하였다.
• 전문성 및 출판 수준 기반으로 GL 유형을 분류하기 위해 '그레이의 색조' 프레임워크를 사용하였다.
• 정확성을 확보하기 위해 수작업으로 GL 인용을 확인하여 보고된 수치와 실제 참고문헌을 상호 대조하였다.
• 연구 시점에서 링크 유효성을 점검하여 GL URL 지속 가능성(지속성)을 평가하였다.
• GL 사용 또는 회피 동기(예: 신뢰성 및 접근성 문제 등)를 식별하고 분석하였다.

Figure 2: Process of selecting studies in each phase of the tertiary study.

실험 결과

연구 질문

• RQ1 2011년에서 2018년 사이 소프트웨어 공학 분야의 2차 연구에서 회색 문헌 사용의 범위와 패턴은 어떠한가?
• RQ2 연구자들은 회색 문헌을 어떻게 정의하고 분류하며, 이를 선정하거나 배제하기 위해 어떤 기준을 사용하는가?
• RQ3 2차 연구에서 회색 문헌을 포함하거나 배제하는 데에 대한 동기는 무엇인가?
• RQ4 특히 접근성 및 품질 평가 측면에서 연구자들이 회색 문헌 사용 시 겪는 과제는 무엇인가?
• RQ5 2차 연구에서 인용된 회색 문헌 자료는 얼마나 지속 가능하며, 장기적으로 가용성이 유지되는가?

주요 결과

• 분석된 446개의 2차 연구 중 단 21%만 특정 연구 질문에 대한 답을 찾기 위해 GL을 사용하였으며, 잠재력은 있으나 통합이 제한적임을 시사한다.
• 연구 시점에 49%의 GL URL이 더 이상 접근 불가능하여 장기적 가용성 문제를 심각하게 드러낸다.
• 446개 연구 중 GL을 인용한 연구는 126개에 불과했으며, 그마저도 실제로 연구 질문에 직접적으로 활용한 연구는 95개에 그쳐 적용이 일관되지 않음을 보여준다.
• 연구 간 GL에 대한 표준화된 정의가 부족하여, 다양한 GL 유형이 해석되고 분류되는 방식에 상당한 차이가 있었다.
• GL에 대해 체계적인 검색 기법이나 품질 평가 기준을 적용한 연구가 거의 없어, GL 처리에 있어 메소드학적 엄밀함이 떨어짐을 나타낸다.
• 이 연구는 소프트웨어 공학 연구에서 GL의 검색, 선정, 평가를 향상시키기 위한 표준화된 지침이 필요하다는 점을 규명하였다.

Figure 5: Distribution of the studies using and not using Grey Literature grouped by the types of Secondary Studies.