[論文レビュー] Guidelines for including grey literature and conducting multivocal literature reviews in software engineering

Vahid Garousi, Michael Felderer+1 more|arXiv (Cornell University)|Jul 9, 2017

Software Engineering Techniques and Practices被引用数 18

ひとこと要約

本論文は、ソフトウェア工学におけるマルチボカル・リサーチレビュー（MLR）を実施するための包括的で根拠に基づいたガイドラインを提示している。本ガイドラインは、公式な出版物に加え、グレイ・リテラチャー（例：ホワイトペーパー、ブログ）を統合している。SLRのベストプラクティス、他分野におけるMLRの経験、および実際のMLR事例研究を基盤とし、計画、実行、報告の各段階をカバーする構造化されたフレームワークを提供することで、研究者がソフトウェア工学分野における学術的知識と実務的知識を体系的に統合できるようにしている。

ABSTRACT

Context: A Multivocal Literature Review (MLR) is a form of a Systematic Literature Review (SLR) which includes the grey literature (e.g., blog posts and white papers) in addition to the published (formal) literature (e.g., journal and conference papers). MLRs are useful for both researchers and practitioners since they provide summaries both the state-of-the art and -practice in a given area. Objective: There are several guidelines to conduct SLR studies in SE. However, given the facts that several phases of MLRs differ from those of traditional SLRs, for instance with respect to the search process and source quality assessment. Therefore, SLR guidelines are only partially useful for conducting MLR studies. Our goal in this paper is to present guidelines on how to conduct MLR studies in SE. Method: To develop the MLR guidelines, we benefit from three inputs: (1) existing SLR guidelines in SE, (2), a literature survey of MLR guidelines and experience papers in other fields, and (3) our own experiences in conducting several MLRs in SE. All derived guidelines are discussed in the context of three examples MLRs as running examples (two from SE and one MLR from the medical sciences). Results: The resulting guidelines cover all phases of conducting and reporting MLRs in SE from the planning phase, over conducting the review to the final reporting of the review. In particular, we believe that incorporating and adopting a vast set of recommendations from MLR guidelines and experience papers in other fields have enabled us to propose a set of guidelines with solid foundations. Conclusion: Having been developed on the basis of three types of solid experience and evidence, the provided MLR guidelines support researchers to effectively and efficiently conduct new MLRs in any area of SE.

研究の動機と目的

• ソフトウェア工学における文献レビューにグレイ・リテラチャーを統合するための体系的かつ明確な指針が不足しているというギャップを埋める。
• 従来のシステムティック・リサーチレビュー（SLR）を超えるマルチボカル・リサーチレビュー（MLR）を実施するための、強固で根拠に基づいたフレームワークを構築すること。
• 研究者および実務家がソフトウェア工学研究において学術的知識源と実務的知識源を統合するのを支援すること。
• ブログやホワイトペーパーなどの非伝統的資料を含める際の、方法論的厳密性と透明性を保証するための構造化されたガイドラインを通じて、MLRプロセスの整合性を高めること。

提案手法

• 著者らは、ソフトウェア工学分野における既存のシステムティック・リサーチレビュー（SLR）の実践からガイドラインを統合した。
• 管理学や医療分野などの他分野におけるMLRのガイドラインや経験論文からの知見を統合した。
• 著者ら自身がソフトウェア工学分野で複数回実施したMLRの実地経験を統合した。
• ガイドラインは、3つの実例を通じて検証され、図示された。これらはソフトウェア工学分野の2例と医学分野の1例である。
• フレームワークはMLRの全段階をカバーしている：計画、検索戦略、資料選定、品質評価、データ抽出、統合、報告。
• ブログやホワイトペーパーなどの非伝統的資料を含めるにあたり、透明性、再現可能性、方法論的整合性を重視するアプローチである。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア工学における文献レビューで、グレイ・リテラチャーを体系的に特定・選定・評価する方法は何か？
• RQ2 ソフトウェア工学における従来のSLRとMLRの主な違いは何か？
• RQ3 非公式または査読なしの資料を文献レビューに含める際、どのようにして方法論的厳密性を維持できるか？
• RQ4 ソフトウェア工学におけるMLRの計画、実行、報告のベストプラクティスは何か？
• RQ5 学術的知識源と実務的知識源の統合によって、ソフトウェア工学分野における文献レビューの関連性と影響力はどのように向上するか？

主な発見

• 提示されたガイドラインは、計画、実行、報告の各段階を網羅する包括的で段階的なフレームワークを提供しており、ソフトウェア工学分野におけるMLRの実施を支援する。
• グレイ・リテラチャーの統合により、公式な出版物にない最新の産業実務や新興トレンドを捉えることができ、レビューの質が著しく向上する。
• ガイドラインは、確立されたSLRの実践、他分野におけるMLRの経験、および実際のMLR事例研究の3つの強固な根拠に基づいている。
• グレイ・リテラチャー向けに特化した構造化された品質評価基準を導入することで、MLRの方法論的厳密性が向上する。
• フレームワークは再現可能性と透明性を支援しており、研究者が非伝統的資料の包括と評価を体系的に記録・正当化できる。
• ガイドラインは、ソフトウェア工学分野内の多様な研究分野へも適用可能で、移植可能である。