[論文レビュー] Software Testing Process Models Benefits & Drawbacks: a Systematic Literature Review.

Katarína Hrabovská, Bruno Rossi+1 more|arXiv (Cornell University)|Jan 5, 2019

Software Engineering Techniques and Practices参考文献 73被引用数 10

ひとこと要約

本システマティックレビューでは、実地研究から17のソフトウェアテストプロセスモデルを同定し、それらの利点、欠点、および異なる組織的文脈や分野における適用可能性を分析した。本研究は、企業の規模や業界ニーズに応じたモデル選定を支援する実証的知見を実務家に提供し、一様な適合性を主張するのではなく、文脈に応じた適合性を強調している。

ABSTRACT

Context: Software testing plays an essential role in product quality improvement. For this reason, several software testing models have been developed to support organizations. However, adoption of testing process models inside organizations is still sporadic, with a need for more evidence about reported experiences. Aim: Our goal is to identify results gathered from the application of software testing models in organizational contexts. We focus on characteristics such as the context of use, practices applied in different testing process phases, and reported benefits & drawbacks. Method: We performed a Systematic Literature Review (SLR) focused on studies about the application of software testing processes, complemented by results from previous reviews. Results: From 35 primary studies and survey-based articles, we collected 17 testing models. Although most of the existing models are described as applicable to general contexts, the evidence obtained from the studies shows that some models are not suitable for all enterprise sizes, and inadequate for specific domains. Conclusion: The SLR evidence can serve to compare different software testing models for applicability inside organizations. Both benefits and drawbacks, as reported in the surveyed cases, allow getting a better view of the strengths and weaknesses of each model.

研究の動機と目的

• 実際の組織的文脈に応用されたソフトウェアテストプロセスモデルを同定し、分析すること。
• 実地研究から報告されたこれらのモデルの利点と欠点を検討すること。
• 企業の規模や分野（例：組み込みシステムや防衛分野）に応じたモデルの適合性を評価すること。
• 実証的証拠に基づいて、実務家が適切なテストモデルを選定できるように支援すること。
• 産業的経験と実装上の課題に焦点を当てることで、先行レビューを拡張すること。

提案手法

• 再現性と透明性を確保するため、PRISMAガイドラインに従ってシステマティック・レビュー（SLR）を実施した。
• 研究質問に基づき、反復的クエリ最適化を経て得られたキーワードを用いて、複数の学術データベースを検索した。
• 事前に定義された含む・除外する基準に従い、実地研究およびアンケートベースの論文に焦点を当てて研究をスクリーニングした。
• モデルの特徴、応用分野、改善点、および報告された利点／欠点に関するデータを抽出した。
• Garciaら、Afzalら、Garousiらの先行レビューと照合し、ギャップや新たな知見を同定した。
• 解釈的妥当性、外部妥当性、再現性の妥当性の脅かしを評価し、研究手法の厳密性を確保した。

実験結果

リサーチクエスチョン

• RQ1 どのソフトウェアテストプロセスモデルが産業的文脈で最も一般的に適用されており、どのような分野で使用されているか？
• RQ2 これらのテストモデルを導入した組織は、どのような利点と欠点を報告しているか？
• RQ3 企業の特性（規模、分野など）が、テストモデルの適合性にどのように影響するか？
• RQ4 実際の現場では、テストプロセスの異なる段階で、どのようなテスト実践が実施されているか？
• RQ5 組み込みシステムや防衛分野のような特定の分野に、テストモデルはどの程度適合可能か？

主な発見

• 35件の一次研究およびアンケートベースの論文から、17の異なるソフトウェアテストプロセスモデルが同定された。
• 多くのモデルは一般的適用可能と記述されているが、実証的証拠から、すべての企業規模や分野に普遍的に適しているとは限らないことが示された。
• 最も頻繁に報告された改善点は、テストプロセスの標準化であり、次に製品品質の向上および欠陥の検出／削減が続いた。
• 組み込みソフトウェアや防衛システムなどの特殊分野に属する組織は、多くのモデルが不適切であるか、大幅なカスタマイズを要すると報告した。
• モデルの導入は、企業の規模、プロジェクトの複雑さ、分野固有の規制要件といった文脈に特化した要因に強く影響を受けることが多かった。
• 実践はモデルごとに顕著に異なり、テスト計画、設計、実行、測定の各段階で差が認められ、これがモデル選定に影響を与えていた。