[论文解读] A Literature Survey on Empirical Evidence in Software Engineering

Ekaterina Pek, Ralf Lämmel|arXiv (Cornell University)|Apr 3, 2013

Software Engineering Research参考文献 18被引用 3

一句话总结

本文基于扎根理论对2011–2012年七个顶级软件工程会议（CSMR、ESEM、ICPC、ICSM、MSR、SCAM、WCRE）的175篇长篇论文进行了文献调查，分析了软件语料库在实证研究中的使用情况。研究发现，尽管语料库几乎无处不在，但并无广泛复用的标准项目或数据集，研究人员通常会根据特定需求定制语料库，表明亟需由社区维护的、领域特定的语料库，以提升研究的可重现性和复用性。

ABSTRACT

Context: Software Engineering research makes use of collections of software artifacts (corpora) to derive empirical evidence from. Goal: To improve quality and reproducibility of research, we need to understand the characteristics of used corpora. Method: For that, we perform a literature survey using grounded theory. We analyze the latest proceedings of seven relevant conferences. Results: While almost all papers use corpora of some kind with the common case of collections of source code of open-source Java projects, there are no frequently used projects or corpora across all the papers. For some conferences we can detect recurrences. We discover several forms of requirements and applied tunings for corpora which indicate more specific needs of research efforts. Conclusion: Our survey feeds into a quantitative basis for discussing the current state of empirical research in software engineering, thereby enabling ultimately improvement of research quality specifically in terms of use (and reuse) of empirical evidence.

研究动机与目标

• 理解实证软件工程研究中软件语料库的特征及其使用模式。
• 识别在更广泛的软件工程社区中是否存在广泛使用的项目或数据集。
• 调查研究人员如何根据特定研究需求定制语料库。
• 通过更好的语料库复用和标准化，提升研究质量。

提出的方法

• 基于扎根理论对七个主要软件工程会议（CSMR、ESEM、ICPC、ICSM、MSR、SCAM、WCRE）的长篇论文开展文献调查。
• 使用人工编码与迭代验证方法，分析2011–2012年会议论文集，识别语料库使用中的模式。
• 聚焦于识别语料库特征，如规模、编程语言、演化过程及应用的调优方式。
• 采用自下而上的编码框架，该框架从数据中自然浮现，而非依赖预设类别。
• 通过多次编码过程和持续参考原始论文，对研究发现进行交叉验证。
• 为聚焦于会议论文集中体现的常见研究实践，排除了期刊文章。

实验结果

研究问题

• RQ1 软件工程论文在多大程度上使用语料库作为实证证据的集合？
• RQ2 SE研究中使用的语料库的关键特征（如规模、编程语言、演化过程）是什么？
• RQ3 在所调查的论文中，是否存在广泛使用的项目或数据集，还是语料库选择高度个性化？
• RQ4 研究人员在多大程度上对语料库进行定制或调优？这些调优以何种形式呈现？

主要发现

• 在调查的184篇长篇论文中，95%（175篇）使用了语料库，表明对实证证据的近乎普遍依赖。
• 最常用的语料库是开源Java项目集合，但并无单一项目或数据集在多数论文中被复用。
• 仅有三个会议显示出特定项目的可检测重复使用，其中这些会议中四分之一的论文使用了相同的 favored 项目。
• 研究人员经常对语料库进行自定义调优，如按规模、年龄或功能进行过滤，表明存在多样且特定的研究需求。
• 尚无能完全满足所有研究需求的“圣杯级”语料库，由于缺乏标准化，研究人员仍普遍自行收集语料库。
• 尽管语料库存在多样性，但反复出现的需求和调优模式表明，建立由社区维护的、领域特定的语料库，有望显著提升复用性和可重现性。