[論文レビュー] A Taxonomic Review of Adaptive Random Testing for Numeric Programs

Jinfu Chen, Hilary Ackah-Arthur+2 more|arXiv (Cornell University)|Sep 24, 2019

Software Testing and Debugging Techniques参考文献 145被引用数 1

ひとこと要約

本論文は、数値プログラム向けの適応的ランダムテスト（ART）の分類的レビューを提示し、54件のART手法をその動機、戦略、発見事項に基づいて分類している。著者らは、顕著な研究進展を確認したが、ランダムテストを上回る故障検出効果と産業応用可能性を高めるために、より多くの実験的研究の必要性を強調している。

ABSTRACT

Random testing (RT) is a black-box software testing technique that tests programs by generating random test inputs. It is a widely used technique for software quality assurance, but there has been much debate by practitioners concerning its failure-detection effectiveness. However, RT is argued to be possibly less effective by some researchers as it does not utilize any information about the program under test. Efforts to mainly improve the failure-detection capability of RT, have led to the proposition of Adaptive Random Testing (ART). ART takes advantage of the location information of previous non-fault-detecting test cases to enhance effectiveness as compared to RT. The approach has gained popularity and has a large number of theoretical studies and methods that employ different notions. In this review, our goal is to provide an overview of existing ART methods for numeric programs. We classify and assess existing ART methods with a focus on their motivation, strategy, and findings. The study also discusses several worthy avenues related to ART. The review uses 54 ART papers in several journals, workshops, and conference proceedings. The results of the review show that significant research efforts have been made towards the field of ART, however further empirical studies are still required to make the technique applicable in different test scenarios in order to impact on the industry.

研究の動機と目的

• 数値プログラム向けに既存の適応的ランダムテスト（ART）手法を体系的に分類すること。
• 学術誌、会議、ワークショップに掲載された54件のART研究の動機、戦略、実験的発見を評価すること。
• ARTの故障検出効果を向上させるために、未だ十分に研究が進んでいない分野や有望な研究方向性を同定すること。
• ART研究の現状を評価し、多様なテストシナリオにおけるより多くの実験的検証の必要性を強調すること。

提案手法

• 本レビューは、数値プログラムに焦点を当てた学術誌、会議、ワークショップから選ばれた54件の査読済みART論文を分析している。
• ART手法は、幾何的、距離に基づく、勾配に基づくなどの戦略に基づいて分類されている。
• 各手法の動機を評価しており、伝統的なランダムテストを上回る故障検出能力の向上を目的としている。
• テーマ的分析を実施し、戦略の比較、理論的基盤の評価、異なるアプローチ間の共通点と相違点の同定を行っている。
• 研究間の発見を統合することで、ART研究におけるトレンド、制限、未解決の課題を明らかにしている。

実験結果

リサーチクエスチョン

• RQ1 数値プログラム向けに開発されたさまざまなART手法の背後にある主な動機は何ですか？
• RQ2 さまざまなART戦略は、故障検出を向上させるためにテストケースの選択方法でどのように異なるでしょうか？
• RQ3 54件のレビュー対象ART研究で報告された主な理論的および実験的発見は何ですか？
• RQ4 ARTの産業的採用を前進させるにあたり、残された研究ギャップと課題は何ですか？

主な発見

• ART分野には顕著な研究努力がなされており、ランダムテストを上回る故障検出効果を向上させる理論的手法が多数提唱されている。
• 広範な理論的開発にもかかわらず、本レビューは多様なテストシナリオにおける十分な実験的検証の欠如を指摘している。
• 多くのART手法は、テストケースのクラスタリングを回避するために幾何的または距離に基づく基準に依存しているが、その実際の有効性は十分に評価されていない。
• 本レビューは、現在のARTアプローチが主に数値入力ドメインに焦点を当てており、複雑またはハイブリッド型のプログラムタイプにおける研究は限定的であると強調している。
• 理論的ART手法と実際のソフトウェアテスト応用の間のギャップを埋めるために、より多くの実験的研究の必要性が明確に示されている。