[论文解读] An Empirical Comparative Study of Checklist based and Ad Hoc Code Reading Techniques in a Distributed Groupware Environment

Olalekan S. Akinola, Adenike Osofisan|ArXiv.org|Sep 23, 2009

Software Engineering Research参考文献 27被引用 3

一句话总结

本实证研究通过20名计算机科学本科高年级学生，在分布式群件环境中比较了基于检查清单的代码审查与即兴代码审查技术。结果表明，两种方法在缺陷检测有效性、耗时以及误报率方面均无显著差异，表明在分布式环境中两者效果相当。

ABSTRACT

Software inspection is a necessary and important tool for software quality assurance. Since it was introduced by Fagan at IBM in 1976, arguments exist as to which method should be adopted to carry out the exercise, whether it should be paper based or tool based, and what reading technique should be used on the inspection document. Extensive works have been done to determine the effectiveness of reviewers in paper based environment when using ad hoc and checklist reading techniques. In this work, we take the software inspection research further by examining whether there is going to be any significant difference in defect detection effectiveness of reviewers when they use either ad hoc or checklist reading techniques in a distributed groupware environment. Twenty final year undergraduate students of computer science, divided into ad hoc and checklist reviewers groups of ten members each were employed to inspect a medium sized java code synchronously on groupware deployed on the Internet. The data obtained were subjected to tests of hypotheses using independent T test and correlation coefficients. Results from the study indicate that there are no significant differences in the defect detection effectiveness, effort in terms of time taken in minutes and false positives reported by the reviewers using either ad hoc or checklist based reading techniques in the distributed groupware environment studied.

研究动机与目标

• 调查在分布式群件环境中，基于检查清单的代码审查是否比即兴阅读更有效。
• 评估在协作性、工具支持的环境中，阅读技术对缺陷检测有效性的影响。
• 比较在分布式背景下，基于检查清单与即兴审查方法在时间投入和误报率方面的差异。
• 将先前关于基于纸张的代码审查研究扩展至基于分布式群件的环境。
• 为分布式软件开发团队选择代码审查技术提供基于证据的指导。

提出的方法

• 将20名计算机科学专业高年级学生分为两组：一组采用基于检查清单的阅读方法，另一组采用即兴阅读方法。
• 通过互联网部署的群件工具，对一个中等规模的Java代码库进行同步代码审查。
• 记录每位审查者在缺陷检测有效性、耗时（分钟）以及误报缺陷报告数量方面的数据。
• 使用独立样本t检验比较两组在缺陷检测、工作量和误报率方面的均值差异。
• 计算皮尔逊积矩相关系数，以评估各变量之间的关系。
• 收集并分析数据，以检验一种方法相对于另一种方法更具优势的假设。

实验结果

研究问题

• RQ1 在分布式群件环境中，基于检查清单的代码审查与即兴代码审查在缺陷检测有效性方面是否存在显著差异？
• RQ2 在分布式环境中，使用检查清单是否能减少代码审查所需的时间？
• RQ3 在该环境中，基于检查清单与即兴代码审查技术的误报缺陷报告数量是否存在显著差异？
• RQ4 在使用群件工具时，两种技术在审查者表现方面是否存在统计学上的显著差异？
• RQ5 群件环境的分布式特性是否会改变基于检查清单与即兴代码审查相对有效性？

主要发现

• 基于检查清单的代码审查与即兴代码审查在缺陷检测有效性方面无显著统计差异（p > 0.05）。
• 两种方法在完成审查所花费时间方面无显著差异（p > 0.05）。
• 基于检查清单与即兴审查的误报缺陷报告数量无显著差异（p > 0.05）。
• 相关性分析显示，缺陷检测数量与耗时或误报数之间无强线性关系。
• 结果表明，在所研究的分布式群件环境中，两种技术在关键审查指标上的表现相当。
• 本研究未发现基于检查清单的阅读在该特定情境下相比即兴阅读具有可测量的优势。