[論文レビュー] JUGE: An Infrastructure for Benchmarking Java Unit Test Generators

Xavier Devroey, Alessio Gambi+5 more|arXiv (Cornell University)|Jun 14, 2021

Software Testing and Debugging Techniques被引用数 8

ひとこと要約

JUGE は、2013 年以降に開催されたコンペティションを通じて 10 種類以上のツールをカバーする、Java ユニットテストジェネレータのベンチマーク評価のための標準化・コンテナ化されたインfrastruture です。再現性があり大規模な評価を可能にし、異なるツールや技術の間で一貫性を保ちながら、研究者と産業界の間での知識移転を促進します。

ABSTRACT

Researchers and practitioners have designed and implemented various automated test case generators to support effective software testing. Such generators exist for various languages (e.g., Java, C#, or Python) and for various platforms (e.g., desktop, web, or mobile applications). Such generators exhibit varying effectiveness and efficiency, depending on the testing goals they aim to satisfy (e.g., unit-testing of libraries vs. system-testing of entire applications) and the underlying techniques they implement. In this context, practitioners need to be able to compare different generators to identify the most suited one for their requirements, while researchers seek to identify future research directions. This can be achieved through the systematic execution of large-scale evaluations of different generators. However, the execution of such empirical evaluations is not trivial and requires a substantial effort to collect benchmarks, setup the evaluation infrastructure, and collect and analyse the results. In this paper, we present our JUnit Generation benchmarking infrastructure (JUGE) supporting generators (e.g., search-based, random-based, symbolic execution, etc.) seeking to automate the production of unit tests for various purposes (e.g., validation, regression testing, fault localization, etc.). The primary goal is to reduce the overall effort, ease the comparison of several generators, and enhance the knowledge transfer between academia and industry by standardizing the evaluation and comparison process. Since 2013, eight editions of a unit testing tool competition, co-located with the Search-Based Software Testing Workshop, have taken place and used and updated JUGE. As a result, an increasing amount of tools (over ten) from both academia and industry have been evaluated on JUGE, matured over the years, and allowed the identification of future research directions.

研究の動機と目的

• Java ユニットテストジェネレータの大型実験的評価を設計・実行・再現するために必要な高コストな作業を低減すること。
• 探索的・ランダム・シンボリック実行などの異なる技術を含む多様なテスト生成ツールと手法の間で、ベンチマークプロセスを標準化すること。
• 再現性・比較可能性・長期的アーカイブの実現により、研究者と産業界の間での知識移転を促進すること。
• 産業界における自動テスト生成ツールの導入を支援する、根拠に基づいた意思決定を支援すること。
• 将来の他の言語やアプリケーション分野における評価の基盤を提供すること。

提案手法

• JUGE は、ユニットテストジェネレータの実行を隔離・標準化する Docker ベースのコンテナ化実行環境を提供する。
• ブラックボックス・ホワイトボックス・グレイボックスツールを含む多様なジェネレータとの統合を可能にする、プラグインアダプタメカニズムを採用する。
• 入力（Java ソースまたはバイナリ）、時間予算、出力解析（構造的カバレッジとミューテーションスコア）を標準化する。
• スケーラビリティを確保するための並列処理をサポートし、ベンチマーク、生成されたテスト、中間結果の保存を可能にし、再現性と将来の比較を可能にする。
• 拡張性・設定可能性・本番環境対応を考慮した設計であり、再現性を保証する再現パッケージのサポートを備える。
• 2013 年以降に毎年、SBST サミナールに併催されるツールコンペティションを通じて、反復的に改善されてきた。

実験結果

リサーチクエスチョン

• RQ1 Java ユニットテストジェネレータのベンチマーク評価を、作業負荷の低減と再現性の向上を図ってどのように標準化できるか？
• RQ2 異なる技術や設定を有する多様なユニットテスト生成ツールを比較する際に、どのような主な課題が存在するか？
• RQ3 共通のインfrastrutureが、ソフトウェアテスト研究分野における長期的かつ実験的評価と再現性をどのように支援できるか？
• RQ4 共通のベンチマークプラットフォームが、研究者と産業界の間での知識移転をどの程度向上できるか？
• RQ5 標準化された評価が、将来のテスト生成研究およびツール品質に関する研究にどのような影響を及えるか？

主な発見

• JUGE は、SBST ツールコンペティションの複数回の開催を通じて、学術界および産業界の 10 種類以上のユニットテストジェネレータを評価するために成功裏に使用された。
• 構造的カバレッジやミューテーションスコアといった標準化された指標を用いて、一貫性があり再現可能かつスケーラブルな評価が可能になった。
• コンテナ化とプラグインアダプタメカニズムの導入により、設定のオーバーヘッドが顕著に低減され、異なる環境間でのポータビリティが向上した。
• 再現パッケージとアーカイブ済み結果の提供により、実験的発見の透明性と信頼性が向上し、過去に結果を歪めることのあった誤設定の問題（例：EvoSuite の研究における問題）が軽減された。
• 探索的・ランダム・シンボリック実行といった多様な技術を、複数のプロジェクトとベンチマークでサポートできることで、JUGE の柔軟性が実証された。
• インフラストラクチャのおかげで、研究者が過去の研究をより正確な設定で再検討でき、自動生成テストにおけるテストスモットの頻度が過大評価されていたことが明らかになった。