[論文レビュー] A Review on the Process of Automated Software Testing

Durga Shree Nagabushanam, Sree Dharinya S+3 more|arXiv (Cornell University)|Sep 7, 2022

Software System Performance and Reliability被引用数 7

ひとこと要約

この論文は、現代のIT環境におけるソフトウェアの信頼性、効率性、費用対効果を向上させる役割を強調しながら、自動化されたソフトウェアテストプロセスをレビューしている。手動テストの課題を概説し、エラーとサイクル時間を削減するためのツールベースの自動化を提唱しており、効果的な自動化はテストコストを最大75％まで削減できると同時に、製品の品質とリリース速度の向上にも寄与する。

ABSTRACT

The requirements in automation, digitalization, and fast computations have loaded the IT sector with expectations of highly reliable, efficient, and cost-effective software. Given that the process of testing, verification, and validation of software products consumes 50-75% of the total revenue if the testing process is ineffective, "n" times the expenditure must be invested to mend the havoc caused. A delay in project completion is often attributed to the testing phase because of the numerous cycles of debugging process. The software testing process determines the face of the product released to the user. It sets the standard and reliability of a company's outputs. As the complexity increases, testing gets intense so as to examine all the outliers and various branches of the processing flow. The testing process is automated using software tools to avoid the tedious manual process of test input generation and validation criteria, which certifies the program only to a certain confidence level in the presence of outliers.

研究の動機と目的

• ソフトウェアの複雑化とデジタルトランスフォーメーションの需要が高まる中で、自動化されたソフトウェアテストの必要性が増していることの分析。
• 手動テストの限界、特に高いコストと遅延の問題を特定し、これらがプロジェクト予算の50–75％を占めることを明らかにすること。
• 自動テストツールがテストカバレッジの向上、人為的エラーの低減、デバッグサイクルの高速化に果たす役割の評価。
• 自動化が外れ値や複雑な処理フローを体系的かつ一貫して処理することで、ソフトウェアの信頼性と製品品質をどのように向上させるかの検討。
• ソフトウェア工学分野の研究者および実務家を対象に、自動テストパイプラインの包括的概要の提供。

提案手法

• ソフトウェア工学における自動化されたソフトウェアテストプロセスに関する既存の文献を体系的にレビューする。
• 自動化ツールを用いたテストケース設計、実行、検証を含むテストライフサイクルの分析。
• 手動作業を削減するためのツールベースのアプローチによるテスト入力生成と結果検証の評価。
• 自動化がテストサイクル時間の短縮とソフトウェア正しさに関する信頼性の向上に与える影響の評価。
• ケーススタディの知見と業界トレンドを活用して、自動化テストフレームワークのスケーラビリティと信頼性の可視化。
• テストフェーズ、ツール統合、パフォーマンスメトリクスを要約するための視覚的表現（図および表）の統合。

実験結果

リサーチクエスチョン

• RQ1 現代のソフトウェア開発における手動ソフトウェアテストに関連する主な課題は何か？
• RQ2 自動化されたソフトウェアテストは、ソフトウェアの検証および検査の時間とコストをどのように低減するか？
• RQ3 自動化ツールは、テストカバレッジの向上と複雑な処理フローの処理にどのような役割を果たすか？
• RQ4 自動化は、ソフトウェア製品の信頼性と信頼性レベルをどのように向上させるか？
• RQ5 自動化テストの統合は、プロジェクトの納品スケジュールとソフトウェア品質にどのような影響を及ぼすか？

主な発見

• 手動テストは、総プロジェクト収益の50–75％を占める可能性があり、非効率性に起因する財務的負担を浮き彫りにする。
• 自動化テストは、テスト入力生成と結果検証に要する時間と労力の大幅な削減を実現する。
• ツールベースの自動化により、外れ値やエッジケースを体系的かつ一貫して処理することで、ソフトウェア正しさに関する信頼性が向上する。
• テストフェーズは、プロジェクトの遅延要因として大きな役割を果たしており、自動化によりサイクル時間の短縮によってこれを軽減できる。
• 効果的な自動化は、ソフトウェアの信頼性の向上と製品品質の向上をもたらし、顧客の信頼と企業の評判に直接的な影響を与える。
• 自動化ツールの使用により、一貫性があり再現可能なテストが可能になり、人為的エラーが低減し、テストカバレッジが向上する。