[论文解读] Grey Literature in Software Engineering: A Critical Review

Fernando Kamei, Igor Wiese+9 more|arXiv (Cornell University)|Apr 27, 2021

Software Engineering Research参考文献 46被引用 6

一句话总结

这项三级研究调查了2011至2018年间在软件工程（SE）二级研究中使用灰色文献（GL）的情况，分析了446项研究，以评估GL的使用情况、选择标准、动机及挑战。研究发现，仅有21%的二级研究使用GL来回答研究问题，且在GL定义上存在广泛不一致，搜索与评估实践较差，49%的GL网址在研究时已无法访问，凸显了制定标准化指南以改善SE研究中GL整合与保存的必要性。

ABSTRACT

Context: Grey Literature (GL) recently has grown in Software Engineering (SE) research since the increased use of online communication channels by software engineers. However, there is still a limited understanding of how SE research is taking advantage of GL. Objective: This research aimed to understand how SE researchers use GL in their secondary studies. Method: We conducted a tertiary study of studies published between 2011 and 2018 in high-quality software engineering conferences and journals. We then applied qualitative and quantitative analysis to investigate 446 potential studies. Results: From the 446 selected studies, 126 studies cited GL but only 95 of those used GL to answer a specific research question representing almost 21% of all the 446 secondary studies. Interestingly, we identified that few studies employed specific search mechanisms and used additional criteria for assessing GL. Moreover, by the time we conducted this research, 49% of the GL URLs are not working anymore. Based on our findings, we discuss some challenges in using GL and potential mitigation plans. Conclusion: In this paper, we summarized the last 10 years of software engineering research that uses GL, showing that GL has been essential for bringing practical new perspectives that are scarce in traditional literature. By drawing the current landscape of use, we also raise some awareness of related challenges (and strategies to deal with them).

研究动机与目标

• 了解软件工程研究人员在二级研究中如何使用灰色文献（GL）。
• 调查在二级研究中包含或排除GL的动机、标准及挑战。
• 评估SE研究中引用的GL来源的质量与可持续性。
• 识别不同研究中GL定义与分类的不一致性。
• 提出未来SE研究中搜索、选择与评估GL的可操作指南。

提出的方法

• 对2011至2018年间在顶级SE会议和期刊上发表的446项二级研究进行了三级研究。
• 采用定性与定量分析相结合的方法，考察GL的使用、定义、选择标准及评估实践。
• 使用“灰色程度”框架，根据专业知识水平与发布渠道层级对GL类型进行分类。
• 通过交叉核对报告数量与实际参考文献，手动验证GL引用的准确性。
• 通过检查研究时的链接有效性，评估GL网址的持久性。
• 识别并分析使用或避免GL的动机，包括可信度和可访问性问题。

Figure 2: Process of selecting studies in each phase of the tertiary study.

实验结果

研究问题

• RQ1 2011至2018年间，软件工程二级研究中灰色文献的使用程度与模式如何？
• RQ2 研究人员如何定义和分类灰色文献，其选择或排除GL的标准是什么？
• RQ3 在二级研究中包含或避免GL的动机是什么？
• RQ4 研究人员在使用灰色文献时面临哪些挑战，特别是可访问性与质量评估方面？
• RQ5 二级研究中引用的灰色文献来源可持续性如何，其长期可获取性如何？

主要发现

• 在分析的446项二级研究中，仅有21%使用灰色文献来回答特定研究问题，表明尽管其潜力巨大，但整合程度仍有限。
• 49%的二级研究中引用的灰色文献网址在研究时已无法访问，凸显了长期可获取性的重大问题。
• 在446项研究中仅有126项引用了灰色文献，且其中仅95项使用GL直接回答研究问题，表明应用不一致。
• 各研究之间缺乏对灰色文献的标准化定义，不同GL类型在解释与分类上存在显著差异。
• 很少有研究采用系统化的GL搜索机制或质量评估标准，表明在GL处理方面方法论严谨性较弱。
• 本研究识别出制定标准化指南的迫切需求，以改善SE研究中GL的搜索、选择与评估。

Figure 5: Distribution of the studies using and not using Grey Literature grouped by the types of Secondary Studies.