[論文レビュー] Freeing Testers from Polluting Test Objectives

Michaël Marcozzi, Sébastien Bardin+4 more|arXiv (Cornell University)|Aug 29, 2017

Software Testing and Debugging Techniques参考文献 50被引用数 9

ひとこと要約

本稿では、白帽テスト基準における不成立・重複・包含されるテスト目的（総称して「汚染的」目的）を特定・除去する、音声的かつスケーラブルな手法LCleanを提案する。Frama-Cプラットフォーム内での最弱前置条件計算とSMTソルバを用いた論理的帰納の証明により、問題を還元することで、200K LOCに達するプログラムにおいて最大27%のテスト目的を削減し、テストスイートの正確性と効率性を向上させる。

ABSTRACT

Testing is the primary approach for detecting software defects. A major challenge faced by testers lies in crafting efficient test suites, able to detect a maximum number of bugs with manageable effort. To do so, they rely on coverage criteria, which define some precise test objectives to be covered. However, many common criteria specify a significant number of objectives that occur to be infeasible or redundant in practice, like covering dead code or semantically equal mutants. Such objectives are well-known to be harmful to the design of test suites, impacting both the efficiency and precision of testers' effort. This work introduces a sound and scalable formal technique able to prune out a significant part of the infeasible and redundant objectives produced by a large panel of white-box criteria. In a nutshell, we reduce this challenging problem to proving the validity of logical assertions in the code under test. This technique is implemented in a tool that relies on weakest-precondition calculus and SMT solving for proving the assertions. The tool is built on top of the Frama-C verification platform, which we carefully tune for our specific scalability needs. The experiments reveal that the tool can prune out up to 27% of test objectives in a program and scale to applications of 200K lines of code.

研究の動機と目的

• テスト担当者は、死活コードや意味的に同等のミューテントなどの不成立または冗長なテスト目的に無駄な作業を費やしており、これによりカバレッジメトリクスが歪み、テスト効率が低下する。
• 既存の手法は、動的手法では音声的でないか、あるいは重複ミューテントの検出に限定されるなど、スケール上で3種類の汚染的目的を同時に扱えない。
• 複数の白帽テスト基準にわたって、不成立・重複・包含されるテスト目的を統合的かつスケーラブルに検出し、除去できる音声的技術の必要性が極めて高い。
• テスト担当者が意味的で重複のない目的に集中できるようにすることで、テストスイートの品質を向上させ、カバレッジ評価や故障検出能力の正確な測定を可能にする。

提案手法

• コア技術は、汚染的目的の検出を、テスト対象コードから抽出した論理的帰納の妥当性の証明問題に還元することに特徴する。
• テスト目的（例：条件の出力やミューテント）をさまざまな白帽テスト基準から自動的に抽出し、帰納を生成する。
• 最弱前置条件計算を用いて、これらの帰納が常に真、偽、または決定不能であるかを静的解析で評価する。
• SMTソルバを用いて帰納の妥当性を形式的に検証し、不成立・重複・包含される目的を音声的に検出可能にする。
• 実装はFrama-C検証プラットフォーム上に構築され、大規模なCプログラム向けにパフォーマンスとスケーラビリティを最適化・拡張している。
• ツールは200K LOCに達するプログラムを処理し、形式的証明に基づいて目的を削除することで、音声的かつ誤検出のない除去を実現している。

実験結果

リサーチクエスチョン

• RQ1 広範な白帽テスト基準にわたって、形式的手法を用いて不成立・重複・包含されるテスト目的を検出し、除去することは可能か？
• RQ2 工業的規模のCプログラムにまで、音声的保証を失うことなく、汚染的目的の検出をスケーリングすることは可能か？
• RQ3 本手法は、意味的関連性を保ちつつ、テスト目的の数をどれほど削減できるか？
• RQ4 汚染的目的の除去によって、カバレッジメトリクスの正確性はどの程度向上するか？
• RQ5 本手法は、条件カバレッジやミューテントカバレッジを越えて、さまざまな基準に一般化可能か？

主な発見

• LCleanは実世界のCプログラムにおいて最大27%のテスト目的を削減し、冗長または不成立なテストターゲットに対する負担を顕著に軽減した。
• 本手法は音声的である：誤って実行可能または関連のあるテスト目的を削除することはなく、動的解析で一般的な誤検出を回避する。
• 200,000行のコードに達するプログラムに対してもスケーラブルであり、産業現場での実用的応用を示している。
• 汚染的目的を除去することで、LCleanはカバレッジに基づくメトリクスの信頼性を向上させ、テストスイートの強度測定値の過大評価や過小評価を防止した。
• 本手法は、過去の研究を上回り、無効・重複・包含の3種類の汚染的目的を、単一の形式的フレームワークで統合的に処理できる。
• 実験により、LCleanはテスト担当者が高価値の目的に集中できるようにし、テストスイートの品質と故障検出可能性の正確な評価を可能にした。