[論文レビュー] A Taxonomic Review of Adaptive Random Testing: Current Status, Classifications, and Issues

Jinfu Chen, Hilary Ackah-Arthur+2 more|arXiv (Cornell University)|Sep 24, 2019

Software Testing and Debugging Techniques参考文献 147被引用数 6

ひとこと要約

本稿は、数値プログラムにおける障害検出効果を向上させるために、適応的ランダムテスト（ART）の包括的な分類的レビューを提示する。109件のART研究を分類し、その動機、戦略、および主な発見を分析する。理論的進展は顕著であるが、産業的応用性を高めるために、より多くの実験的検証の必要性が浮き彫りになる。

ABSTRACT

Random testing (RT) is a black-box software testing technique that tests programs by generating random test inputs. It is a widely used technique for software quality assurance, but there has been much debate by practitioners concerning its failure-detection effectiveness. RT is argued to be possibly less effective by some researchers as it does not utilize any information about the program under test. Efforts to mainly improve the failure-detection capability of RT, have led to the proposition of Adaptive Random Testing (ART). ART takes advantage of the location information of previous non-fault-detecting test cases to enhance effectiveness as compared to RT. The approach has gained popularity and has a large number of theoretical studies and methods that employ different notions. In this review, our goal is to provide an overview of existing ART studies. We classify all ART studies and assess existing ART methods for numeric programs with a focus on their motivation, strategy, and findings. The study also discusses several worthy avenues related to ART. The review uses 109 ART papers in several journals, workshops, and conference proceedings. The results of the review show that significant research efforts have been made towards the field of ART, however further empirical studies are still required to make the technique applicable in different test scenarios in order to impact on the industry.

研究の動機と目的

• 既存の適応的ランダムテスト（ART）研究について体系的な概要を提供すること。
• ART手法をその動機、戦略、および発見に基づいて分類すること。
• 伝統的なランダムテストに比べて、ARTが障害検出効果をどのように向上させているかを評価すること。
• ART分野における研究ギャップを特定し、ソフトウェア工学分野における今後の有望な研究方向性を示唆すること。
• 理論的および実験的研究の分析を通じて、ARTの実用的応用可能性を評価すること。

提案手法

• 著者らは、学術誌、国際会議、ワークショップから抽出した109件のART論文について、体系的文献レビューを実施した。
• 研究は、その根拠となる動機、テスト戦略、設計アプローチに基づいて分類された。
• 本レビューは、主に数値プログラムを対象とするART手法に焦点を当て、入力空間の分割および以前の障害を検出しなかったテストケースの使用を分析した。
• テーマ的分析を用いて、位置情報および探索ヒューリスティクスの使用に基づいてART技術をグループ化した。
• 研究手法の多様性を評価し、ART設計および実装における共通のパターンを同定した。
• 本レビューは、ART手法の成熟度および限界を評価するための構造化されたフレームワークを用いた。

実験結果

リサーチクエスチョン

• RQ1 異なるART手法の開発の背後にある主な動機は何ですか？
• RQ2 ART戦略は、入力空間の分割および位置情報の使用においてどのように異なっていますか？
• RQ3 既存のART研究で報告された主な発見およびパフォーマンス結果は何ですか？
• RQ4 特に実験的検証において、現在のART研究における主な制限およびギャップは何ですか？
• RQ5 ARTの産業的採用に向けて前進させるために、最も有望な今後の研究方向性は何ですか？

主な発見

• 合計109件のART研究が同定され、分野における理論的発展が顕著であることが示された。
• 大多数のART手法は、以前に障害を検出しなかったテストケースの位置を活用することで、障害検出効果を向上させることを目的としている。
• 強固な理論的基盤がある一方で、多様なテストシナリオにわたるきめ細やかな実験的評価を含む研究は少ない。
• ART研究において、標準化されたベンチマークおよび評価プロトコルの欠如が同定された。
• 理論的進展と産業応用の間には顕著なギャップがあり、より多くの実用的検証が求められる。
• 本研究は、現実のソフトウェアテスト環境下でのARTパフォーマンスを評価するための、より多くの比較的実験的研究の必要性を強調した。