[論文レビュー] Improving the Testability of Object-oriented Software during Testing and Debugging Processes

Sujata Khatri, Rajender Singh Chhillar+1 more|arXiv (Cornell University)|Aug 15, 2013

Software Reliability and Analysis Research参考文献 19被引用数 6

ひとこと要約

本稿では、オブジェクト指向ソフトウェアのテスト可能性を向上させるために、テスト中の障害複雑性と故障分布を分析する信頼性成長モデルを提案する。オープンソースプロジェクト（Python用MySQLおよびSquirrel SQL Client）の故障データを用いて、障害複雑性に基づいたテストリソースの配分が、障害検出効率と全体的なテスト可能性の向上に寄与することを示している。

ABSTRACT

Testability is the probability whether tests will detect a fault, given that a fault in the program exists. How efficiently the faults will be uncovered depends upon the testability of the software. Various researchers have proposed qualitative and quantitative techniques to improve and measure the testability of software. In literature, a plethora of reliability growth models have been used to assess and measure the quantitative quality assessment of software during testing and operational phase. The knowledge about failure distribution and their complexity can improve the testability of software. Testing effort allocation can be made easy by knowing the failure distribution and complexity of faults, and this will ease the process of revealing faults from the software. As a result, the testability of the software will be improved. The parameters of the model along with the proportion of faults of different complexity to be removed from the software have been presented in the paper .We have used failure data of two object oriented software developed under open source environment namely MySQL for python and Squirrel SQL Client for estimation purpose

研究の動機と目的

• 障害複雑性の不均一さに起因するオブジェクト指向ソフトウェアにおける非効率な障害検出の課題に対処すること。
• テストおよびデバッグの段階で故障分布と障害複雑性メトリクスを活用することで、テスト可能性を向上させること。
• 障害検出率を向上させるために、テストリソースの配分を最適化すること。
• 実世界のオープンソースプロジェクトからの実証的故障データを用いて、テスト可能性を評価・向上させる定量的モデルを開発すること。
• 障害複雑性に基づいた優先順位付けによるテストのフレームワークを提供し、ソフトウェア信頼性の向上を図ること。

提案手法

• MySQL for PythonおよびSquirrel SQL Clientの2つのオープンソースオブジェクト指向システムからの故障データを分析する。
• 障害の検出可能性を評価するために、障害の複雑性に基づいて分類する。
• 障害複雑性と故障分布パラメータを組み込んだ信頼性成長モデルを構築する。
• モデルを用いて、未検出のまま残っている異なる複雑性レベルの障害の割合を推定する。
• 障害複雑性に基づいたテストリソース配分を最適化し、障害検出を最大化するための指針をモデルで提供する。
• 2つのオープンソースプロジェクトからの実証的データを用いて、モデルの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 障害複雑性はオブジェクト指向ソフトウェアのテスト可能性にどのように影響するか？
• RQ2 故障分布データを活用することで、テストリソースの配分と障害検出効率を改善できるか？
• RQ3 障害複雑性に基づいたテストの優先順位付けが、全体的なテスト可能性に与える影響は何か？
• RQ4 障害複雑性を組み込んだ信頼性成長モデルは、障害検出率をどの程度正確に予測できるか？
• RQ5 従来のテスト戦略と比較して、提案されたモデルはテスト可能性をどの程度向上させるか？

主な発見

• 高複雑性の障害は、テストプロセスの初期段階で検出されにくく、全体のテスト可能性を低下させる。
• 提案されたモデルは、さまざまな複雑性レベルの未検出障害の割合を正確に推定できた。
• 障害複雑性に基づいたテストリソース配分により、障害検出率に顕著な改善が見られた。
• MySQL for PythonおよびSquirrel SQL Clientからの実証的データが、モデルの予測精度を裏付けた。
• 高複雑性の障害に焦点を当てることで、より効率的なテストが可能になった。
• 障害の特性と故障パターンに応じたテストリソースの適切な配分により、テスト可能性が向上した。