[論文レビュー] Analysis of Test Efficiency during Software Development Process

T. R. Gopalakrishnan Nair, V. Suma+1 more|arXiv (Cornell University)|Mar 29, 2012

Software Engineering Research参考文献 2被引用数 9

ひとこと要約

本論文は、4つの企業における事例研究を通じて、ソフトウェア開発フェーズ全体におけるテスト効率を調査し、要件定義および設計フェーズにおいてテストの有効性が低いことを明らかにした。本研究では、設計ドキュメントの静的レビューに代えて、設計ソリューションの動的テストを実施することで、欠陊を早期に発見し、再作業を削減し、品質の向上とソフトウェアの持続可能性・生産性の向上を図ることを提唱する。

ABSTRACT

One of the prerequisites of any organization is an unvarying sustainability in the dynamic and competitive industrial environment. Development of high quality software is therefore an inevitable constraint of any software industry. Defect management being one of the highly influencing factors for the production of high quality software, it is obligatory for the software organizations to orient them towards effective defect management. Since, the time of software evolution, testing is deemed a promising technique of defect management in all IT industries. This paper provides an empirical investigation of several projects through a case study comprising of four software companies having various production capabilities. The aim of this investigation is to analyze the efficiency of test team during software development process. The study indicates very low-test efficiency at requirements analysis phase and even lesser test efficiency at design phase of software development. Subsequently, the study calls for a strong need to improve testing approaches using techniques such as dynamic testing of design solutions in lieu of static testing of design document. Dynamic testing techniques enhance the ability of detection and elimination of design flaws right at the inception phase and thereby reduce the cost and time of rework. It further improves productivity, quality and sustainability of software industry.

研究の動機と目的

• ソフトウェア開発ライフサイクルの異なるフェーズにおけるテスト効率を評価すること。
• 要件定義および設計フェーズにおける現在のテスト手法の非効率性を特定すること。
• 静的設計ドキュメントレビューの代替として、動的テスト手法を提案すること。
• ソフトウェアの品質を向上させ、再作業コストを削減し、ソフトウェア開発全体の生産性を向上させること。

提案手法

• 生産能力に差がある4つのソフトウェア企業における実地の事例研究を実施した。
• ソフトウェア開発ライフサイクル全体にわたり、複数のプロジェクトからテスト効率データを収集・分析した。
• 実際の現場で、設計ドキュメントの静的テストと設計ソリューションの動的テストを比較した。
• 動的テストによる欠陊の早期検出が再作業およびプロジェクトスケジュールに与える影響を評価した。
• 要件定義、設計、実装フェーズにおけるテスト効率を評価するための定量的指標を用いた。
• 欠陊検出の向上を図るため、初期開発段階での静的テストから動的テストへのシフトを提言した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア開発の要件定義、設計、実装フェーズにおいて、テスト効率はどのように変化するか？
• RQ2 設計ドキュメントの静的テストには、設計欠陊を早期に検出するうえでどのような限界があるか？
• RQ3 設計ソリューションの動的テストは、初期開発段階での欠陊検出をどの程度向上させ得るか？
• RQ4 静的テストから動的テストへのシフトは、再作業コストおよびプロジェクトスケジュールにどのように影響するか？
• RQ5 強化された初期段階のテストアプローチによって、ソフトウェアの品質および生産性にどのような向上が達成できるか？

主な発見

• 要件分析フェーズにおいて、テスト効率が極めて低いことが判明した。
• 設計フェーズにおいて、テスト効率がさらに低下しており、顕著な非効率性が示された。
• 設計ドキュメントの静的テストは、重要な設計欠陊を早期に検出できず、高額な再作業を引き起こした。
• 設計ソリューションの動的テストにより、設計欠陊の早期検出が著しく向上した。
• 動的テストへの移行により、再作業時間およびコストが削減され、全体のプロジェクト生産性が向上した。
• 初期段階での動的テストの導入により、ソフトウェアの品質および長期的な持続可能性が向上した。