[論文レビュー] Sampling in Software Engineering Research: A Critical Review and Guidelines

Sebastian Baltes, Paul Ralph|arXiv (Cornell University)|Feb 18, 2020

Software Engineering Research被引用数 31

ひとこと要約

本論文はソフトウェア工学研究におけるサンプリング実践を批判的に検討し、ランダムおよび高度なサンプリングの使用が限定的であることを明らかにし、代表性に関する誤解を強調し、サンプリング実践を改善するためのガイドラインと入門編を提示する。

ABSTRACT

Representative sampling appears rare in empirical software engineering research. Not all studies need representative samples, but a general lack of representative sampling undermines a scientific field. This article therefore reports a critical review of the state of sampling in recent, high-quality software engineering research. The key findings are: (1) random sampling is rare; (2) sophisticated sampling strategies are very rare; (3) sampling, representativeness and randomness often appear misunderstood. These findings suggest that software engineering research has a generalizability crisis. To address these problems, this paper synthesizes existing knowledge of sampling into a succinct primer and proposes extensive guidelines for improving the conduct, presentation and evaluation of sampling in software engineering research. It is further recommended that while researchers should strive for more representative samples, disparaging non-probability sampling is generally capricious and particularly misguided for predominately qualitative research.

研究の動機と目的

• 詳細な、SE特化のサンプリング懸念と手法に関する入門書を提供する。
• SE研究におけるサンプリングの現状を調査する。
• SE研究におけるサンプリングの実施、報告、評価を改善するためのガイドラインを提供する。

提案手法

• 最近のSE論文の選定サンプルに対する手動による批判的レビューを実施する。
• サンプリング理論をSEに焦点を当てた入門書に統合する。
• 研究方法と観察単位全体でサンプリングがどのように用いられているか分析する。
• サンプリング手順のより明確な報告と再現性のためのガイドラインを提案する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 最近の高品質なSE研究で最も一般的なサンプリング手法は何か？
• RQ2 RQ2: 著者はどのようにサンプリング手法を正当化しているか？
• RQ3 RQ3: 何が最も一般的な経験的研究方法論か？
• RQ4 RQ4: 観察単位は最も一般的なのは何か？

主な発見

• Random sampling is rare in SE research.
• Sophisticated sampling strategies are very rare.
• Sampling, representativeness, and randomness are often misunderstood in SE research.
• The paper synthesizes existing knowledge into a succinct primer and extensive guidelines for improving sampling practice in SE research.