[論文レビュー] On the Use of Grey Literature: A Survey with the Brazilian Software Engineering Research Community

Fernando Kamei, Igor Wiese+3 more|arXiv (Cornell University)|Sep 13, 2020

Software Engineering Research参考文献 27被引用数 4

ひとこと要約

本研究は、34回目のブラジルソフトウェア工学シンポジウム（SBES 2020）に参加した76名のブラジルのソフトウェア工学（SE）研究者を対象としたアンケートを通じて、ブラジルのSE研究者におけるグレイリテラチャー（GL）の使用状況を調査した。その結果、GLは主に新規・発展中のトピックを理解する目的で使用されており、ブログやコミュニティウェブサイトが主要な情報源であることが明らかになった。主な利点はアクセスのしやすさと実務的洞察の提供である一方、主な課題は科学的厳密性の欠如に対する認識にある。研究では、『世界的に著名な著者／機関』が信頼性の重要な基準であると特定し、研究者や実務家がエビデンスに基づくSE研究におけるGLの役割を高めるための実用的知見を提供している。

ABSTRACT

Background: The use of Grey Literature (GL) has been investigate in diverse research areas. In Software Engineering (SE), this topic has an increasing interest over the last years. Problem: Even with the increase of GL published in diverse sources, the understanding of their use on the SE research community is still controversial. Objective: To understand how Brazilian SE researchers use GL, we aimed to become aware of the criteria to assess the credibility of their use, as well as the benefits and challenges. Method: We surveyed 76 active SE researchers participants of a flagship SE conference in Brazil, using a questionnaire with 11 questions to share their views on the use of GL in the context of SE research. We followed a qualitative approach to analyze open questions. Results: We found that most surveyed researchers use GL mainly to understand new topics. Our work identified new findings, including: 1) GL sources used by SE researchers (e.g., blogs, community website); 2) motivations to use (e.g., to understand problems and to complement research findings) or reasons to avoid GL (e.g., lack of reliability, lack of scientific value); 3) the benefit that is easy to access and read GL and the challenge of GL to have its scientific value recognized; and 4) criteria to assess GL credibility, showing the importance of the content owner to be renowned (e.g., renowned author and institutions). Conclusions: Our findings contribute to form a body of knowledge on the use of GL by SE researchers, by discussing novel (some contradictory) results and providing a set of lessons learned to both SE researchers and practitioners.

研究の動機と目的

• ブラジルのソフトウェア工学（SE）研究者が研究活動においてグレイリテラチャー（GL）をどのように使用しているかを理解すること。
• GLを使用する動機と、信頼性や科学的価値に関する懸念を含めた使用を避ける理由を特定すること。
• SE研究者がGLの情報源の信頼性を評価するために用いる基準を検討すること。
• SE研究におけるGL使用の主な利点と課題を明らかにすること。
• エビデンスに基づくSE研究においてGLを効果的に活用するための実用的知見を研究者および実務家に提供すること。

提案手法

• 34回目のブラジルソフトウェア工学シンポジウム（SBES 2020）に参加した76名の活動中のSE研究者に対してアンケートを実施した。
• アンケートには11の質問が含まれており、主に開かれた自由記述欄の内容を質的分析することで、使用動機、情報源、信頼性基準、および主な利点・課題を明らかにした。
• データ分析には質的アプローチを採用し、研究者たちがGL使用に関して抱く認識の間で繰り返し現れるテーマやパターンを同定した。
• 本研究では、ブログ、コミュニティウェブサイト、技術報告書、およびStack OverflowのようなQ&Aプラットフォームを含む多様なGLソースに焦点を当てた。
• 先行研究と照らし合わせて、特に信頼性評価とGLのアクセス性に関する、新規性や相違点を有する知見を同定した。
• 本研究は、ブラジルSE研究コミュニティにおけるGL使用に関する初の実証的調査を貢献している。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ブラジルのSE研究者がグレイリテラチャーをなぜ使用するのか？
• RQ2 RQ2: ブラジルのSE研究者が使用するグレイリテラチャーの種別は何か？
• RQ3 RQ3: ブラジルのSE研究者がグレイリテラチャーの信頼性を評価するために用いる基準は何か？
• RQ4 RQ4: ブラジルのSE研究者がグレイリテラチャーを使用する際に認識する利点と課題は何か？

主な発見

• GLを使用する主な動機は、ソフトウェア工学分野における新規または発展中のトピックを理解することである。
• ブログ、コミュニティウェブサイト、および技術的経験報告書が、ブラジルのSE研究者にとって最も頻繁に使用されるGLソースである。
• 主な利点として、GLのアクセスのしやすさと読みやすさが挙げられ、これは迅速な知識習得を支援する。
• 主な課題として、科学的価値の欠如と信頼性の欠如に対する認識が指摘されており、これが公式な研究への統合を妨げている。
• 信頼性の評価は、主にコンテンツ作成者の評判に基づいて行われ、『世界的に著名な著者』『評価の高い機関』『有名な企業』が信頼の主要な指標である。
• 本研究では、実務的洞察を得るために広くGLが使用されている一方で、その科学的正当性については議論が続いているという矛盾が明らかになった。これは、信頼性評価フレームワークの改善が急務であることを示唆している。