[論文レビュー] Grey Literature in Software Engineering: A Critical Review

Fernando Kamei, Igor Wiese+9 more|arXiv (Cornell University)|Apr 27, 2021

Software Engineering Research参考文献 46被引用数 6

ひとこと要約

本研究は、2011年から2018年の間のソフトウェア工学（SE）分野の二次的調査において、グレイリテラチャー（GL）がどのように使用されているかを調査する三次的研究である。446件の研究を分析し、GLの使用状況、選定基準、動機、課題を評価した。その結果、研究の質問に答えるためにGLを使用したのはわずか21％にとどまり、GLの定義に一貫性がなく、検索および評価の実践が不十分であり、49％のGLのURLが無効化されていた。これらは、SE研究におけるGLの統合と保存を改善するための標準化されたガイドラインの必要性を示している。

ABSTRACT

Context: Grey Literature (GL) recently has grown in Software Engineering (SE) research since the increased use of online communication channels by software engineers. However, there is still a limited understanding of how SE research is taking advantage of GL. Objective: This research aimed to understand how SE researchers use GL in their secondary studies. Method: We conducted a tertiary study of studies published between 2011 and 2018 in high-quality software engineering conferences and journals. We then applied qualitative and quantitative analysis to investigate 446 potential studies. Results: From the 446 selected studies, 126 studies cited GL but only 95 of those used GL to answer a specific research question representing almost 21% of all the 446 secondary studies. Interestingly, we identified that few studies employed specific search mechanisms and used additional criteria for assessing GL. Moreover, by the time we conducted this research, 49% of the GL URLs are not working anymore. Based on our findings, we discuss some challenges in using GL and potential mitigation plans. Conclusion: In this paper, we summarized the last 10 years of software engineering research that uses GL, showing that GL has been essential for bringing practical new perspectives that are scarce in traditional literature. By drawing the current landscape of use, we also raise some awareness of related challenges (and strategies to deal with them).

研究の動機と目的

• ソフトウェア工学の研究者が二次的調査においてグレイリテラチャー（GL）をどのように使用しているかを理解すること。
• GLを含めるか除外するかの背後にある動機、基準、課題を調査すること。
• SE研究において引用されたGLのソースの質と持続可能性を評価すること。
• 研究間でGLの定義や分類に一貫性がなく、ばらつきが生じている点を特定すること。
• 今後のSE研究におけるGLの検索、選定、評価のための実行可能なガイドラインを提示すること。

提案手法

• 2011年から2018年までの間、主要なSE国際会議および学術誌に掲載された446件の二次的調査を対象とする三次的調査を実施した。
• GLの使用状況、定義、選定基準、評価手法を分析するため、定性的および定量的分析を適用した。
• 専門性と発表機関のレベルに基づいてGLの種別を分類するため、「グレイの濃淡」フレームワークを用いた。
• 正確性を保証するため、報告された数値と実際の参考文献を照合することで、GLの引用を手動で検証した。
• 研究実施時点でのリンク有効性を確認することで、GLのURLの持続可能性を評価した。
• GLの使用や回避の動機を特定・分析し、信頼性やアクセス可能性の問題を含めた要因を検討した。

Figure 2: Process of selecting studies in each phase of the tertiary study.

実験結果

リサーチクエスチョン

• RQ1 2011年から2018年の間、ソフトウェア工学分野の二次的調査において、グレイリテラチャー（GL）はどの程度、どのようなパターンで使用されているか。
• RQ2 研究者はGLをどのように定義・分類しており、選定・除外のための基準は何か。
• RQ3 GLを含めるか回避するかの背後にある動機は何か。
• RQ4 特にアクセス可能性や質の評価に関する課題を除き、研究者がGLを使用する際に直面する課題は何か。
• RQ5 二次的調査で引用されたGLのソースはどの程度持続可能であり、長期的に利用可能であるか。

主な発見

• 分析対象の446件の二次的調査のうち、わずか21％の研究が特定の研究質問に答えるためにGLを使用しており、その潜在的価値にもかかわらず統合が限定的であることが示された。
• 49％のGLのURLが、本研究実施時点でアクセス不能となっていた。これは、長期的な利用可能性に重大な課題があることを示している。
• 446件の研究のうち、GLを引用したのは126件にとどまり、そのうちGLを研究質問に直接活用したのは95件にとどまった。これは、GLの使用が一貫していないことを示している。
• 研究間でGLの定義に標準化されたものがないことが明らかとなり、さまざまなGLタイプの解釈や分類に顕著なばらつきが見られた。
• GLの系統的検索メカニズムや質の評価基準を採用している研究は少数であり、GLの取り扱いにおける方法論的厳密性の欠如が明らかになった。
• 本研究では、SE研究におけるGLの検索、選定、評価を改善するための標準化されたガイドラインの必要性を明らかにした。

Figure 5: Distribution of the studies using and not using Grey Literature grouped by the types of Secondary Studies.