[논문 리뷰] On the Use of Grey Literature: A Survey with the Brazilian Software Engineering Research Community

Fernando Kamei, Igor Wiese외 3명|arXiv (Cornell University)|2020. 09. 13.

Software Engineering Research참고 문헌 27인용 수 4

한 줄 요약

이 연구는 브라질 소프트웨어공학(SE) 연구자들 사이에서 회색문헌(GL) 사용에 대해 34회 브라질 소프트웨어공학 심포지엄(SBES 2020)에 참석한 76명의 참가자들을 대상으로 한 설문조사를 통해 조사한다. 연구 결과, GL은 주로 새로운 주제나 발전 중인 주제를 이해하기 위해 사용되며, 블로그와 커뮤니티 웹사이트가 주요 자료원으로 꼽힌다. 주요 이점은 접근성과 실용적 통찰력이며, 주요 과제는 과학적 엄밀성 부족으로 인한 신뢰성에 대한 인식 부족이다. 연구는 '저명한 저자/기관'을 신뢰성 평가의 핵심 기준으로 규명하여, 연구자들과 실무자들이 증거 기반 SE 연구에서 GL의 역할을 향상시키기 위한 실질적인 통찰을 제공한다.

ABSTRACT

Background: The use of Grey Literature (GL) has been investigate in diverse research areas. In Software Engineering (SE), this topic has an increasing interest over the last years. Problem: Even with the increase of GL published in diverse sources, the understanding of their use on the SE research community is still controversial. Objective: To understand how Brazilian SE researchers use GL, we aimed to become aware of the criteria to assess the credibility of their use, as well as the benefits and challenges. Method: We surveyed 76 active SE researchers participants of a flagship SE conference in Brazil, using a questionnaire with 11 questions to share their views on the use of GL in the context of SE research. We followed a qualitative approach to analyze open questions. Results: We found that most surveyed researchers use GL mainly to understand new topics. Our work identified new findings, including: 1) GL sources used by SE researchers (e.g., blogs, community website); 2) motivations to use (e.g., to understand problems and to complement research findings) or reasons to avoid GL (e.g., lack of reliability, lack of scientific value); 3) the benefit that is easy to access and read GL and the challenge of GL to have its scientific value recognized; and 4) criteria to assess GL credibility, showing the importance of the content owner to be renowned (e.g., renowned author and institutions). Conclusions: Our findings contribute to form a body of knowledge on the use of GL by SE researchers, by discussing novel (some contradictory) results and providing a set of lessons learned to both SE researchers and practitioners.

연구 동기 및 목표

• 브라질 소프트웨어공학(SE) 연구자들이 자신의 연구에서 어떻게 회색문헌(GL)을 사용하는지 이해하기 위해.
• GL 사용의 동기와 이를 피하는 이유(신뢰성과 과학적 가치에 대한 우려 포함)를 규명하기 위해.
• SE 연구자들이 GL 자료원의 신뢰성을 평가하는 데 사용하는 기준을 검토하기 위해.
• SE 연구에서 GL 사용의 인식된 이점과 과제를 탐색하기 위해.
• 증거 기반 SE 연구에서 GL을 효과적으로 활용하기 위한 연구자들과 실무자들에게 실질적인 통찰을 제공하기 위해.

제안 방법

• 34회 브라질 소프트웨어공학 심포지엄(SBES 2020)에 참석한 76명의 활동 중인 SE 연구자들에게 설문 조사를 실시하였다.
• 설문에는 총 11개의 질문이 포함되었으며, 주로 개방형 응답의 질적 분석을 통해 사용 동기, 자료원, 신뢰성 기준, 인식된 이점 및 과제를 탐색하였다.
• 자료 분석은 연구자들이 GL 사용에 대해 인식하는 공통된 주제와 패턴을 식별하기 위해 질적 접근을 활용하였다.
• 연구는 블로그, 커뮤니티 웹사이트, 기술 보고서, 스택 오버플로우와 같은 Q&A 플랫폼을 포함한 다양한 GL 자료원을 대상으로 하였다.
• 이전 연구와의 비교를 통해, 특히 신뢰성 평가 및 GL 접근성 측면에서 새로운 또는 대조적인 통찰을 규명하였다.
• 본 연구는 브라질 SE 연구 공동체 내에서 GL 사용에 대한 첫 번째 실증적 조사 기여를 한다.

실험 결과

연구 질문

• RQ1 RQ1: 브라질 SE 연구자들은 회색문헌을 사용하는 이유는 무엇인가요?
• RQ2 RQ2: 브라질 SE 연구자들이 사용하는 회색문헌의 유형은 무엇인가요?
• RQ3 RQ3: 브라질 SE 연구자들은 회색문헌의 신뢰성을 평가할 때 어떤 기준을 사용하나요?
• RQ4 RQ4: 브라질 SE 연구자들이 회색문헌을 사용할 때 인식하는 이점과 과제는 무엇인가요?

주요 결과

• 회색문헌을 사용하는 데 가장 흔한 동기는 소프트웨어공학 분야의 새로운 또는 발전 중인 주제를 이해하기 위함이다.
• 블로그, 커뮤니티 웹사이트, 기술 경험 보고서가 브라질 SE 연구자들 사이에서 가장 자주 사용되는 회색문헌 자료원이다.
• 주요 이점은 회색문헌의 접근 용이성과 난이도 낮은 독해 용이성으로, 이는 신속한 지식 습득을 지원한다.
• 주요 과제로 지적된 것은 과학적 가치 부족과 신뢰성에 대한 인식 부족으로, 이는 공식 연구에의 통합을 저해한다.
• 신뢰성은 주로 콘텐츠 제작자의 명성에 기반하며, '저명한 저자', '유명한 기관', '유명한 기업'이 주요 신뢰 지표로 작용한다.
• 연구는 모순을 드러낸다: GL은 실용적 통찰을 얻기 위해 널리 사용되지만, 그 과학적 합법성은 여전히 논란의 대상이 되며, 이는 보다 나은 신뢰성 평가 프레임워크 개선의 필요성을 시사한다.