[論文レビュー] A Survey of Constrained Combinatorial Testing

Huayao Wu, Changhai Nie+3 more|arXiv (Cornell University)|Aug 7, 2019

Software Testing and Debugging Techniques参考文献 141被引用数 13

ひとこと要約

本サーベイは、1987年から2018年までの129編の論文をレビューし、制約付き組合せテスト（CT）の包括的分析を提供する。技術を制約同定、処理、保守の3つに分類し、実際の応用における実装の不足が顕著であることが判明した。CT研究において制約を組み込んでいるのはわずか30–32％にとどまり、ソフトウェアテストにおける自動的で効率的かつ統合的な制約処理ソリューションの開発が急務であることが示唆される。

ABSTRACT

Combinatorial Testing (CT) is a potentially powerful testing technique, whereas its failure revealing ability might be dramatically reduced if it fails to handle constraints in an adequate and efficient manner. To ensure the wider applicability of CT in the presence of constrained problem domains, large and diverse efforts have been invested towards the techniques and applications of constrained combinatorial testing. In this paper, we provide a comprehensive survey of representations, influences, and techniques that pertain to constraints in CT, covering 129 papers published between 1987 and 2018. This survey not only categorises the various constraint handling techniques, but also reviews comparatively less well-studied, yet potentially important, constraint identification and maintenance techniques. Since real-world programs are usually constrained, this survey can be of interest to researchers and practitioners who are looking to use and study constrained combinatorial testing techniques.

研究の動機と目的

• 未処理の制約が原因で、現実のシステムへの組合せテストの導入が限定的であるという問題に対処する。
• CT研究における制約の同定、処理、保守の技術を体系的に分類し分析する。
• CT文献において制約対応手法が著しく不足していることを強調する。2018年までに発表された研究のうち、わずか30–32％の研究が制約を組み込んでいる。
• 自動化された制約処理、同定、モデルの進化に関する未解決の課題を特定する。
• 既存の研究を統合し、制約の保守や同定におけるギャップを明らかにすることで、今後の研究の基盤を提供する。

提案手法

• 1987年から2018年までの組合せテストに関する129編の研究論文を収集・分析した。
• 研究を3つのカテゴリーに分類した：制約同定、制約処理、制約保守。
• ブール論理、禁止タプル、ラティスベースの意味論といった制約表現をレビューした。
• 制約ソルバーや最小禁止タプル、モデルベース検証といった制約処理技術を評価した。
• SMTソルバーや意味的差分検出を用いた制約保守戦略を、モデル進化の観点から評価した。
• 進化するテストモデルにおける構文的および意味的差分を検出するための標準表現とアルゴリズムを提案した。

実験結果

リサーチクエスチョン

• RQ1 組合せテストにおける制約をモデル化するために主に用いられている表現は何か？
• RQ2 制約は、組合せテストセット生成の効果性と効率性にどのように影響を与えるか？
• RQ3 CTにおける制約の同定、処理、保守のための現在の最先端技術は何か？
• RQ4 制約処理が極めて重要であるにもかかわらず、なぜCT研究および実務で依然として未活用のままなのか？
• RQ5 反復的開発におけるモデル進化の過程で、制約保守に関する未解決の課題は何か？

主な発見

• 2018年までに発表されたCTテストセット生成研究のうち、わずか32％が制約処理技術を組み込んでいる。
• 2014年の調査で調査された75のツールの半数以上が、いかなる制約処理も実装しておらず、実務における広範な無視が示唆されている。
• 制約処理技術は、手動によるモデル修正から自動ソルバーや最小禁止タプルアプローチまで多様である。
• SMTソルバを用いた自動制約同定および検証により、テストモデル内の矛盾や冗長な制約を検出できる。
• ラティスベースの意味論は、値や制約が変更された場合でも意味的整合性を保つことで、モデル進化を改善する。
• テストモデルと実装との適合性障害を修復する技術は存在するが、文献では依然として未発展な分野のままである。