[論文レビュー] An Empirical Comparative Study of Checklist based and Ad Hoc Code Reading Techniques in a Distributed Groupware Environment

Olalekan S. Akinola, Adenike Osofisan|ArXiv.org|Sep 23, 2009

Software Engineering Research参考文献 27被引用数 3

ひとこと要約

この実験的研究では、20名のコンピュータサイエンスの学部生を対象に、分散型グループウェア環境におけるチェックリストベースとアドホックなコードリーディング手法を比較した。結果は、欠陥検出効果、作業時間、誤検出率に顕著な差がないことを示しており、両手法が分散環境において同等に効果的であることを示唆している。

ABSTRACT

Software inspection is a necessary and important tool for software quality assurance. Since it was introduced by Fagan at IBM in 1976, arguments exist as to which method should be adopted to carry out the exercise, whether it should be paper based or tool based, and what reading technique should be used on the inspection document. Extensive works have been done to determine the effectiveness of reviewers in paper based environment when using ad hoc and checklist reading techniques. In this work, we take the software inspection research further by examining whether there is going to be any significant difference in defect detection effectiveness of reviewers when they use either ad hoc or checklist reading techniques in a distributed groupware environment. Twenty final year undergraduate students of computer science, divided into ad hoc and checklist reviewers groups of ten members each were employed to inspect a medium sized java code synchronously on groupware deployed on the Internet. The data obtained were subjected to tests of hypotheses using independent T test and correlation coefficients. Results from the study indicate that there are no significant differences in the defect detection effectiveness, effort in terms of time taken in minutes and false positives reported by the reviewers using either ad hoc or checklist based reading techniques in the distributed groupware environment studied.

研究の動機と目的

• チェックリストベースのコードリーディングが分散型グループウェア環境において、アドホックリーディングよりも効果的かどうかを調査すること。
• 共同作業でツール支援を受けた環境におけるリーディング手法の欠陥検出効果への影響を評価すること。
• 分散環境におけるチェックリスト手法とアドホック手法の間で、作業時間と誤検出率を比較すること。
• 従来のペーパーベースのコードインスペクション研究を、紙ではなく分散型グループウェアベースの環境へと拡張すること。
• 分散型ソフトウェア開発チームにおけるコードリーディング手法の選定に関する、根拠に基づく指針を提供すること。

提案手法

• 20名の最終学年在籍のコンピュータサイエンス専攻の学生が2つのグループに分けられ、一方はチェックリストベースのリーディング、他方はアドホックリーディングを実施した。
• 中規模のJavaコードベースが、インターネット経由で配備されたグループウェアツールを用いて同期的に検査された。
• 各レビュアーについて、欠陥検出効果、作業時間（分）、誤検出レポートの数が記録された。
• 両グループ間の欠陥検出効果、作業時間、誤検出率の平均値を比較するために、独立t検定が用いられた。
• 変数間の関係を評価するために、ピアソン積動差乗相関係数が計算された。
• 両手法の優位性に関する仮説を検証するため、データ収集と分析が行われた。

実験結果

リサーチクエスチョン

• RQ1 分散型グループウェア環境において、チェックリストベースとアドホックなコードリーディングの間で、欠陥検出効果に有意差があるか？
• RQ2 チェックリストの使用は、分散環境におけるコードインスペクションに要する時間の短縮に寄与するか？
• RQ3 この環境において、チェックリスト手法とアドホック手法の間で、誤検出レポート数に有意差があるか？
• RQ4 グループウェアツールを用いた場合、両手法におけるレビュアーのパフォーマンスに統計的に有意な差があるか？
• RQ5 グループウェア環境の分散性が、チェックリスト対アドホックリーディング手法の相対的効果に影響を及けるか？

主な発見

• チェックリストベースとアドホックなコードリーディング手法の間で、欠陥検出効果に統計的に有意な差は認められなかった（p > 0.05）。
• 両手法間でインスペクション完了に要した時間に有意差は認められなかった（p > 0.05）。
• チェックリストレビュアーとアドホックレビュアーの間で、誤検出レポート数に有意差は認められなかった（p > 0.05）。
• 相関分析の結果、欠陥検出数と作業時間、誤検出数との間に強い線形関係は認められなかった。
• 結果から、本研究で検討された分散型グループウェア環境において、両手法は主なインスペクション指標において同等に機能することが示唆された。
• 本研究では、チェックリストベースリーディングがこの特定の文脈において、アドホックリーディングに比べて顕著な利点を提供する証拠が得られなかった。