[論文レビュー] Agent Based Software Testing Framework (ABSTF) for Application Maintenance

K. Karnavel, V. Divya+2 more|arXiv (Cornell University)|Jul 12, 2013

Software Testing and Debugging Techniques参考文献 8被引用数 4

ひとこと要約

本論文は、ソフトウェア保守におけるレグレッションテストおよび欠陥検出を自動化するために、自律的なソフトウェアエージェントを用いるエージェントベースのソフトウェアテストフレームワーク（ABSTF）を提案する。エージェントの自律性、トレーサビリティ分析、および選択的レグレッションテストアルゴリズムを活用することで、ABSTFはテスト時間の短縮、欠陥検出の正確性の向上、コード変更後のアプリケーション整合性を維持するための手作業の努力の最小化を実現する。

ABSTRACT

Software testing framework can be stated as the process of verifying and validating that a computer program/application works as expected and meets the requirements of the user. Usually testing can be done manually or using tools. Manual testing can be time consuming and tedious, also it requires heavy investment of human resources. Testing tools in fact have many advantages and are widely used nowadays, but also has several disadvantages. One particular problem is that human intervention is no longer needed. Testing tools are of high cost and so, it cannot be used for small companies. Hence in this paper we propose Agent based testing, which is a fast growing approach in testing field. The proposed system (ABSTF) has to reduce the application testing moment, easily find out bug and solve the bug by Regression Testing. Here by we are going to use a safe efficient regression selection technique algorithm to selectively retest the modified program. We also use Traceability relation of completeness checking for agent oriented system, which identifies missing elements in entire application and classifies defect in the testing moment. With the ability of agents to act autonomously, monitoring code changes and generating test cases for the changed version of code can be done dynamically.

研究の動機と目的

• ソフトウェア保守における従来の手作業およびツールベースのテストの高コストかつ非効率な問題に対処すること。
• レグレッションテストサイクルにおけるテスト時間およびリソース消費を削減すること。
• コード変更に応じて動的にテストケースを生成できる仕組みを実現すること。
• トレーサビリティに基づく完全性チェックによって欠陥検出の正確性を向上させること。
• 小規模および中規模のソフトウェア開発チームに適したスケーラブルでコスト効率の良いテストソリューションを提供すること。

提案手法

• コード変更を監視し、動的にテストプロセスを開始する自律的ソフトウェアエージェントを採用すること。
• 変更されたおよび影響を受けるコンponentのみを再テストする安全で効率的なレグレッション選択技術を実装すること。
• トレーサビリティ関係を用いてテストカバレッジの完全性を検証し、欠落したテスト要素を特定すること。
• エージェント指向のシステム原則を統合して、テスト中に欠陥を分類および優先順位付けすること。
• エージェントが独立してテストケースを生成・実行・報告するフレームワークを設計すること。
• 要件、コード、テストケースをトレーサビリティマトリクスを通じて結びつけるモデル指向のアプローチを適用すること。

実験結果

リサーチクエスチョン

• RQ1 自律的エージェントは、ソフトウェア保守におけるレグレッションテストの効率をどのように向上させることができるか？
• RQ2 コード変更後に、選択的かつ効果的な再テストを保証する技術は何か？
• RQ3 トレーサビリティ関係は、テストの完全性および欠陥検出をどのように向上させることができるか？
• RQ4 エージェントベースのテストは、人的介入およびテスト時間の削減にどのような形で寄与できるか？
• RQ5 小規模から中規模のソフトウェア組織にとって、エージェントベースのフレームワークはコスト効率的かつスケーラブルであるか？

主な発見

• ABSTFフレームワークは、選択的レグレッションテストにより、変更されたおよび影響を受けるコンponentに限定することで、テスト時間を顕著に短縮した。
• トレーサビリティに基づく分析は、欠落したテスト要素を効果的に同定し、テストカバレッジおよび欠陥検出の正確性を向上させた。
• 自律的エージェントにより、コード変更後に人的介入なしに動的にテストケースの生成と実行が可能になった。
• フレームワークは、人的リソースの最小限の関与でアプリケーションの整合性を維持する上で実現可能性と効率性を示した。
• 提案手法は、特に小規模開発チームにとって高価な商用テストツールの代替としてコスト効率の良い選択肢を提供した。
• エージェントの自律性とトレーサビリティの統合により、ソフトウェアテストプロセスの速度および信頼性が向上した。