[論文レビュー] A Literature Survey on Empirical Evidence in Software Engineering

Ekaterina Pek, Ralf Lämmel|arXiv (Cornell University)|Apr 3, 2013

Software Engineering Research参考文献 18被引用数 3

ひとこと要約

本論文は、2011–2012年の7つの主要なSE会議（CSMR, ESEM, ICPC, ICSM, MSR, SCAM, WCRE）から抽出された175篇の長編論文を対象に、グランド理論に基づく文献調査を実施し、実証的研究におけるソフトウェアコーパスの使用を分析した。その結果、コーパスはほぼ普遍的である一方で、標準的なプロジェクトやデータセットは広く再利用されておらず、研究者が特定のニーズに合わせてコーパスをカスタマイズしていることが判明した。これは、再現性と再利用性を高めるために、コミュニティがキュレートするドメイン特化型コーパスの必要性を示唆している。

ABSTRACT

Context: Software Engineering research makes use of collections of software artifacts (corpora) to derive empirical evidence from. Goal: To improve quality and reproducibility of research, we need to understand the characteristics of used corpora. Method: For that, we perform a literature survey using grounded theory. We analyze the latest proceedings of seven relevant conferences. Results: While almost all papers use corpora of some kind with the common case of collections of source code of open-source Java projects, there are no frequently used projects or corpora across all the papers. For some conferences we can detect recurrences. We discover several forms of requirements and applied tunings for corpora which indicate more specific needs of research efforts. Conclusion: Our survey feeds into a quantitative basis for discussing the current state of empirical research in software engineering, thereby enabling ultimately improvement of research quality specifically in terms of use (and reuse) of empirical evidence.

研究の動機と目的

• 実証的ソフトウェア工学研究におけるソフトウェアコーパスの特徴と使用パターンを理解すること。
• 広範なSEコミュニティ内で共通して使われているプロジェクトやデータセットが存在するかどうかを特定すること。
• 研究者が特定の研究ニーズに応じてコーパスをどのようにカスタマイズしているかを調査すること。
• より良い再現性と標準化に基づく、より優れた研究品質の向上を支援すること。

提案手法

• CSMR, ESEM, ICPC, ICSM, MSR, SCAM, WCREの7つの主要なSE会議の長編論文を対象に、グランド理論に基づく文献調査を実施した。
• 2011–2012年の会議プログラムを対象に、反復的検証を伴う手動コーディングを用いて、コーパス使用のパターンを同定した。
• サイズ、言語、進化、適用されたチューニングなどのコーパスの特徴に焦点を当てた。
• 事前に定義されたカテゴリーに依存せず、データから生じたボトムアップ型のコーディングスキーマを用いた。
• 複数回のコーディングプロセスと、元の論文への継続的参照を通じて、発見内容のクロスバリデーションを実施した。
• 研究実践の共通パターンを反映する会議論文に焦点を絞るため、ジャーナル論文を除外した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア工学の論文は、どれくらいの頻度でコーパスを実証的証拠の集まりとして使用しているか？
• RQ2 SE研究で使用されているコーパスの主な特徴（例：サイズ、言語、進化）は何か？
• RQ3 調査された論文の間で共通して使われているプロジェクトやデータセットが存在するか、それともコーパス選定が著しく個別的であるか？
• RQ4 研究者がどれくらいの範囲でコーパスをカスタマイズまたはチューニングしているか、その形態はどのようなものか？

主な発見

• 調査された長編論文の95％（184中175）がコーパスを使用しており、実証的証拠への依存がほぼ普遍的であることが示された。
• 最も一般的なコーパスはオープンソースのJavaプロジェクトの集まりであるが、特定のプロジェクトやデータセットが多数の論文で再利用されてはいない。
• 特定のプロジェクトの繰り返し使用が検出されたのは3つの会議に限られ、その会議の論文の四分の一が同じ好まれるプロジェクトを使用していた。
• 研究者は頻繁にコーパスに対してカスタムチューニングを適用しており、サイズ、年齢、機能性などのフィルタリングが含まれ、多様で特定の研究ニーズに応じたものであることが示された。
• すべての研究ニーズを満たす「至高のコーパス」は存在せず、標準化の欠如のため、コーパスの自作収集が依然として一般的である。
• 多様性は存在するが、繰り返し現れる要件とチューニングパターンは、再利用性と再現性を高めるために、コミュニティがキュレートするドメイン特化型コーパスの可能性を示唆している。